Jacobsens

Searching…

www.selectdataset.com

MNBVC|中文语料库数据集|预训练数据集数据集

MNBVC数据集是一个超大规模的中文语料集,包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。 数据集不但包括主流文化,也包括各个小众文化甚至火星文的数据。

www.mnbvc.org

MNBVC.2023.总结及致谢

MNBVC项目于2023年1月1日正式启动,由里屋社区资深用户等战、零零发和龙骑兵的发起下,集结了广大志愿者共同参与,致力于构建一个超大规模的中文语料集。 项目的主要目的是为中文自然语言处理提供高质量的数据资源,支持中文信息技术的发展。 项目名称【MNBVC】既是里屋社区早期时使用过的一个域名,也是“ 超大规模中文语料集 ”(Massive Never-ending BT Vast Chinese corpus)的缩写。 回首过去...

blog.csdn.net

【亲测免费】 MNBVC语料库:超大规模中文数据集使用指南

MNBVC(Massive Never-ending BT Vast Chinese corpus)是一个超大规模的中文语料库,旨在提供多样化的纯文本数据,覆盖从主流文化到小众文化,甚至是网络上的独特表达方式。 它包含了诸如新闻、作文、小说、论文、台词、帖子、古诗、歌词等多种形式的内容。

zhuanlan.zhihu.com

MNBVC:超大规模中文语料数据集 - 知乎

MNBVC:超大规模中文语料数据集 目标是收集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词等各种形式的纯文本中文数据。 不但包括主流文化,也包括各个小众文化甚至 火星文 的数据。 项目目前进度为19.96%,总数据量为7984GB。

github.com

MNBVC/README.md at main · esbatmop/MNBVC · GitHub

MNBVC数据集不但包括主流文化,也包括各个小众文化甚至火星文的数据。 MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。

huggingface.co

liwu/MNBVC · Datasets at Hugging Face

可以在 MNBVC的wiki页面 上查看这几类数据的具体格式。 项目早期所上传的数据使用如下格式,以后这一格式会被废弃,相应数据也会重新上传:

wiki.mnbvc.org

aboutmnbvc [MNBVC-Wiki]

MNBVC-Wiki是 Massive Never-ending BT Vast Chinese corpus 超大规模中文语料集。 它诞生的初衷是MNBVC开源项目团队在中文语料库建设过程中积累了一些项目经验,希望通过wiki系统记录和分享,以帮助未来参与相关项目的开发者。

wiki.mnbvc.org

现有语料格式 [MNBVC-Wiki]

MNBVC语料格式检查工具 未来所有MNBVC语料都会统一格式,请提交数据的同学都执行下格式检查工具: DataCheck_MNBVC