MNBVC (Massive Never-ending BT Vast Chinese corpus)超 ...
MNBVC (Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集。
Searching…
MNBVC (Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集。
MNBVC数据集是一个超大规模的中文语料集,包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。 数据集不但包括主流文化,也包括各个小众文化甚至火星文的数据。
MNBVC项目于2023年1月1日正式启动,由里屋社区资深用户等战、零零发和龙骑兵的发起下,集结了广大志愿者共同参与,致力于构建一个超大规模的中文语料集。 项目的主要目的是为中文自然语言处理提供高质量的数据资源,支持中文信息技术的发展。 项目名称【MNBVC】既是里屋社区早期时使用过的一个域名,也是“ 超大规模中文语料集 ”(Massive Never-ending BT Vast Chinese corpus)的缩写。 回首过去...
MNBVC(Massive Never-ending BT Vast Chinese corpus)是一个超大规模的中文语料库,旨在提供多样化的纯文本数据,覆盖从主流文化到小众文化,甚至是网络上的独特表达方式。 它包含了诸如新闻、作文、小说、论文、台词、帖子、古诗、歌词等多种形式的内容。
MNBVC:超大规模中文语料数据集 目标是收集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词等各种形式的纯文本中文数据。 不但包括主流文化,也包括各个小众文化甚至 火星文 的数据。 项目目前进度为19.96%,总数据量为7984GB。
MNBVC数据集不但包括主流文化,也包括各个小众文化甚至火星文的数据。 MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。
可以在 MNBVC的wiki页面 上查看这几类数据的具体格式。 项目早期所上传的数据使用如下格式,以后这一格式会被废弃,相应数据也会重新上传:
MNBVC(Massive Never-ending BT Vast Chinese corpus)是一个旨在为AI提供丰富中文语料的项目。 它不仅包括主流文化内容,还涵盖了小众文化和网络用语。
MNBVC-Wiki是 Massive Never-ending BT Vast Chinese corpus 超大规模中文语料集。 它诞生的初衷是MNBVC开源项目团队在中文语料库建设过程中积累了一些项目经验,希望通过wiki系统记录和分享,以帮助未来参与相关项目的开发者。
MNBVC语料格式检查工具 未来所有MNBVC语料都会统一格式,请提交数据的同学都执行下格式检查工具: DataCheck_MNBVC