澜舟科技完成近亿元Pre-A轮融资“孟子”轻量化

兰州科技完成近亿元Pre-A轮融资

预训练模型创业越来越好

兰州科技提供的“孟子”轻量级中文预训练模型

■本报记者郑金武

近日，创新工场在北京宣布，北京兰州科技股份有限公司（以下简称兰州科技）完成近亿元Pre-A轮融资。本轮融资由联想创投和八路资本共同领投，创新工场跟投。本轮融资，兰州科技将主要用于自然语言处理（NLP）核心产品的开发和前瞻性研究。

本次融资也反映了围绕人工智能（AI）预训练大型模型的创新创业现状越来越好。在兰州科技创始人兼CEO周明看来，当前，无论是从预培养模式的重大技术突破，还是国家创新创业激励政策模式识别原理与应用课后答案李弼程，硬科技创业都呈现出蓬勃发展的势头。可谓“创业”恰逢其时”。“从感知智能到认知智能，蕴藏着巨大的商机。”周明说。

预训练大型模型的新进展和新趋势也为资本带来了新的赛道。

从大模型到大模型

预训练模型是前人为解决问题而创建的模型。当后代解决类似问题时，他们不需要从头开始训练新模型，而是可以使用以前的模型来解决现有问题。

例如，如果你想开发自动驾驶汽车的图像识别能力，你可以从头开始构建一个好的图像识别算法模型，但这往往需要数年时间。预训练模型可以大大缩短这样的开发周期。开发者可以使用谷歌在ImageNet数据集上训练的类似模型，通过参数调整和改进来实现汽车的图像识别功能。

预训练模型的巨大应用潜力也在国内外掀起了一股“训练模型”和“训练大模型”的热潮。

2020 年，OpenAI 发布了 GPT-3，这是一个具有 1750 亿个参数的预训练模型。它不仅可以写文章、答题、翻译，还可以进行多轮对话和数学计算。

2021 年，来自麻省理工学院、哥伦比亚大学、哈佛大学和滑铁卢大学的联合研究团队将提出一种模型，可以自动大规模解决、评分和生成大学级数学问题，促进 AI 的结合和高等教育。

在中国，预训练模型的研发也在迎头赶上。

百度发布了行业级知识提升模型“文心”，并在此模型的基础上形成了行业全景。其中，跨模态生成模型ERNIE-ViLG，首次实现了图文生成的统一建模，显着提升了图文生成效果。

由北京致远人工智能研究院牵头，清华大学、北京大学、人大、中科院联合研制的超大规模预训练模型“悟道”也于去年亮相。该模型提出了从基础性能、有效使用到预训练模型扩展等一系列创新解决方案，实现了多项技术突破。此外，华为和鹏城实验室等机构也发布了“盘古”大模型，阿里巴巴达摩院发布了中文模型PLUG。

“超大规模预训练模型的出现，很可能改变信息产业的格局。”清华大学计算机系教授、北京致远人工智能研究院副院长唐杰表示，“继基于数据的互联网时代，基于计算的强大云计算时代之后，下一个可能是基于模型的人工智能时代。”

使用模型解决实际问题

预训练模型研究的热潮也催生了兰州科技等一批初创企业。

周明是自然语言处理研究领域的代表人物。作为兰州科技的创始人，周明带领团队开发了一款轻量级的中文预训练模型“孟子”。

周明介绍，预训练模型是使用大规模语料库以无监督方式训练的大规模语言模型，根据上下文定义每个词的语义表达，根据上下文做下游任务模型，如机器翻译、文本生成、问答搜索等。

在过去的几年里，预训练模型在自然语言领域得到了广泛的关注。各大公司和研究机构都对预训练模型进行了研究，并且有模型越大越好的趋势。

“模型越大，培训成本越高，机器设备能力越强，环保节能问题。中小型企业可能无法使用硬件限制。”周明表示，兰州科技研发的“孟子”模型以较小的模型规模（10亿参数）实现了大模型的性能模式识别原理与应用课后答案李弼程，对领域和场景具有灵活的适应性，有利于快速低成本真实业务场景的实现。

“很多大公司靠着强大的算力和大数据能力，不断推出大模型。兰州科技作为一家初创公司，在算力上是比不上别人的，所以我们来比较一下智慧、算法、和知识。 。”周明说。

目前，“孟子”模式已在多个领域成功落地，衍生出多个行业领先产品，涵盖机器翻译、文本生成、行业搜索等领域。

此外，据兰州科技合伙人李景梅透露，兰州科技与传神合作，发布了首款基于孟子预训练模型的“人都”翻译引擎。截至目前，兰州科技已完成20多个垂直领域翻译模型的开发，涵盖新闻、金融、汽车等领域。

在从科学家到企业家的转变中，周明希望能够“带领兰州科技团队打造以自然语言处理为核心技术的新一代认知智能平台，帮助从业者大幅提升信息获取.、搜索、翻译、分析判断、业务预测、报告生成和决策辅助能力”。

自然语言理解领域的“金矿”

作为一家基于预训练模型的认知智能公司，兰州科技成立至今已获得3轮融资。

“在过去的两年里，我们在全球范围内进行了技术研究，看到了‘自我监督学习’这一新技术的兴起。这项技术将使自然语言理解更上一层楼，超越人类水平，这对近 40 年前投身自然语言理解领域的我来说意义重大。”创新工场董事长兼 CEO 李开复告诉《中国科学报》。

正是这种投资重点，让创新工场再次“押注”兰州科技。

“创新工场前沿科技基金旨在成为科技创业者的首轮投资人和长期朋友。自成立以来，已完成多个突破性科技创新项目的布局，未来还将继续创新工场执行董事、前沿科技基金总经理任博兵表示：

李景梅告诉《中国科学报》，兰州科技获得的Pre-A轮融资主要用于产品研发和NLP前瞻性研究工作。 “一方面，兰州科技致力于打造基于 NLP 技术在领域应用和产业发展的落地产品，另一方面，将继续对 NLP 进行前瞻性研究，例如提高模型可解释性、小样本学习能力，复杂推理能力，真正实现从感知智能到认知智能的突破。”

“近年来，语音识别等感知智能技术已经相对成熟。得益于预训练模型技术的突破，自然语言理解能力得到了极大提升，我们相信认知智能将跃上一个新的台阶。 ”兰州科技Pre-A轮领投方一、八路资本合伙人赵峰表示。

中国科学杂志（2022-02-21第4版科学技术）