Searching…
The official repository for ERNIE 4.5 and ERNIEKit – its industrial-grade development toolkit based on PaddlePaddle. - PaddlePaddle/ERNIE
Oct 16, 2019 · 基于飞桨开源的持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。本文带你进一步深入了解ERNIE的技术细节。 一：ERNIE 简介 1.1…
Abstract In this report, we introduce ERNIE 5.0, a natively autoregressive foundation model desinged for unified multimodal understanding and generation across text, image, video, and audio. All modalities are trained...
May 28, 2023 · 百度发布ERINE预训练模型，通过三级Knowledge Masking提升语言知识学习。ERNIE 3.0结合自回归与自编码模型，引入知识图谱，优化多任务处理。ERNIE-Gram采用显式n-gram Masking，增强语义完整性，结合生成器建模n-gram关系，提升语言理解与生成能力。
一句话总结 这篇报告提出 ERNIE 5.0 ：从零开始统一训练文本、图像、视频、音频的自回归基础模型，核心创新是 统一 Next-Group-of-Tokens 目标 + 模态无关的超稀疏 MoE 路由 + 弹性训练，并配套可扩展的 RL 与训练基础设施，最终在多模态理解与生成上取得均衡且强劲的表现。
Abstract In this report, we introduce ERNIE 4.5, a new family of large-scale foundation models comprising 10 distinct variants. The model family consists of Mixture-of-Experts (MoE) models with 47B and 3B active param...
Feb 5, 2026 · 百度ERNIE团队发布了突破性的ERNIE 5.0多模态AI模型，这是全球首个万亿参数级别的统一自回归模型，能够同时理解和生成文字、图像、视频、音频内容。该模型采用创新的"从头统一训练"方法和"弹性训练"技术，通过超稀疏专家混合架构实现了真正的跨模态知识融合。在多项测试中表现优异，代表了向 ...
Jun 30, 2025 · We introduce ERNIE 4.5, a new family of large-scale multimodal models comprising 10 distinct variants. The model family consist of Mixture-of-Experts (MoE) models with 47B and 3B active parameters, with...
Jul 14, 2025 · 文章浏览阅读5.2w次，点赞62次，收藏49次。百度开源ERNIE 4.5系列大模型，包含10种变体，涵盖文本和多模态模型，最大参数量达424B。该系列采用混合专家（MoE）架构，支持跨模态参数共享，在文本理解和多模态任务中表现优异。模型分为A47B（旗舰多模态）、A3B（轻量多模态）和0.3B（轻量文本）三大 ...
最近在工作上处理的都是中文语料，也尝试了一些最近放出来的预训练模型（ERNIE， BERT-CHINESE， WWM-BERT-CHINESE），比对之后还是觉得百度的ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。 希望大家也都能在自己的项目上取得进展~ 1、A Glance at ...
