人工智能分为计算智能、感知智能、认知智能三个发展阶段。感知智能指的是“感知”的能力,包括听觉、触觉和视觉,认知智能则包括语言理解能力、知识运用能力以及在语言和知识基础上的推理能力。
创新工场首席科学家、北京澜舟科技创始人兼CEO周明称,自然语言处理是认知智能最大的一个瓶颈,而预训练模型会使自然语言处理进入到可以大规模、可复制的大工业施展阶段,如果能落地应用,会推动认知智能实现飞跃。
据了解,预训练模型是利用大规模语料库、通过无监督方式训练出的一个大规模的语言模型,根据上下文定义每个词的语义表达,并基于模型做下游的任务,比如说机器翻译问答搜索等。
周明表示,过去几年,预训练模型在自然语言领域得到非常广泛的重视,各大公司学校都开展了预训练模型的研究,出现了模型越大越好的趋势。可是模型越大,训练成本越高,要求机器设备的能力也就越大,这就产生了环保和节能的问题。中小企业可能还会因为硬件制约无法使用。
基于以上考虑,澜舟科技研发出了大规模预训练模型《孟子》,实现了用更小的模型规模比肩超大模型的性能,并且具备灵活的领域和场景适应能力,有利于快速、低成本地落地现实业务场景。
“以力服人者,非心服也,力不赡也;以德服人者,中心悦而诚服也,如七十子之服孔子也。”周明在谈及为何会给模型起名为《孟子》时引用了这样一句话。
周明解释称,很多大公司依赖自身强大的运算能力和大数据能力,不停地推出大模型,澜舟作为初创公司,比算力是比不过的,那我们就应该去比智慧、比算法、比知识。
事实证明了周明的思路是正确的。今年7月,《孟子》预训练模型在CLUE中文NLP权威排行榜战胜百亿、千亿参数规模级模型取得冠军,刷新三项榜单世界纪录。
此外,澜舟科技基于《孟子》预训练模型,推出了澜舟文本生成引擎、澜舟行业搜索引擎、澜舟翻译引擎三大产品。目前翻译引擎和文本生成引擎已经通过合作伙伴实现落地应用,搜索引擎则和头部公司达成合作,正在不断完善迭代中。
周明介绍,澜舟科技下一步的业务重心是开发建立SaaS模型、独立行业搜索引擎、开源社区,并进行本地定制。
公开资料显示,澜舟科技今年1月入驻由李开复创办的创新工场开始孵化,8月完成天使轮融资,投资方也是创新工场;9月获 HICOOL 2021全球创业大赛人工智能/金融科技赛道一等奖,HICOOL全球创业大赛是以海内外人才创业大赛为主体的综合性国际人才活动,两年已累计吸引全球84个国家和地区创新项目6044个,汇聚创业人才8162名。据官方透露,HICOOL 2022年新一季赛事招募将于近期全面启动。
最新评论