人类数据缺缺缺，ai被迫开始吃ai生产的数据了！

(资料图)

这是微软、openai等一众ai前沿公司面临的现状。

他们从维基百科、电子书、新闻网站、博客、推特和reddit等平台和论坛中搜罗了大量数据，然后现在……这些数据快被用完了。

but，要训练更好的大模型，多少数据都不够。

据《金融时报》介绍，不少公司正把大模型生成的结果、也就是所谓的合成数据（synthetic data），喂给参数量更小的大模型吃，发现效果还不错。

对于使用合成数据，openai的ceo sam altman不仅不介意，还放话“未来所有数据都将变成合成数据”。

估值20亿美元的大模型初创公司cohere同样在用合成数据。公司ceo、经典大模型transformer论文作者之一aidan gomez甚至认为：

合成数据可能加速通往“超级智能”ai系统的道路。

所以，究竟哪些大模型已经在用合成数据了，这些合成数据又是从何而来？

人类数据告急，微软openai开始用ai喂ai，奥特曼放话：未来所有数据都将变成合成数据-ag凯发k8国际

这些所谓的合成数据，本质上是用当前表现较好的大模型生成的数据，经过人工调整后，再喂给稍微小一点的大模型。

例如cohere公司就尝试使用了两个大模型进行“角色扮演”对话，并将它们生成的结果做成合成数据。

这两个大模型分别扮演“数学老师”和“学生”，正在进行一堂虚拟的数学教学。同时，cohere安排一个人类员工在旁边监督对话生成。

一旦对话出现错误，人类员工就会插手对文本进行修正。

尽管确实还需要人力，但这比聘请科学、医学和商业方面的专家来撰写文本要便宜得多。

那么，什么样的大模型会用到这些合成数据呢？

微软研究院最近有研究表明，合成数据可以用于训练比gpt-4或palm-2稍微小一点的语言模型。

以用gpt-4生成的一个“四岁儿童小说”数据集tinystories为例，这个数据集被证明虽然只包含4岁小孩能理解的单词，但用于训练一个大模型之后，同样可以生成语法正确、阅读体验流畅的故事：

对于使用合成数据的理由，cohere的ceo aidan gomez认为：

能从网上获取数据当然更好，但网络数据太杂乱了，完全无法满足需求。相比之下，合成数据已经非常多了，即使它还没被广泛传播。

目前，包括scale ai、gretel.ai等企业，已经开始给外界提供合成数据服务。

先是scale ai，旗下就推出了一款合成数据产品scale synthetic，用于给企业提供合成数据服务。

而在之前一篇semianalysis爆料gpt-4“大花边”的新闻中，还提到gpt-4的数据集中，有数百万行是来自scale ai和内部的指令微调数据。

至于合成数据平台gretel.ai，从ag凯发k8国际官网来看，它已经和谷歌、拳头游戏、汇丰银行等不同企业进行了合作，以生成更多合成的数据提供给其他开发者使用。

gretel.ai的ceo ali golshan认为，合成数据的好处在于，它保留了数据集中所有个人的隐私，同时仍然保持其统计学意义上的完整性（statistical integrity）。

但并非所有人都接受合成数据这种“神奇操作”，目前各方的看法主要分成两波。

一部分赞同使用合成数据。包括cohere等ai公司在内，有不少搞大模型的企业仍然坚持这一做法，并认为它可能生成更好的ai，甚至从中诞生出“超级智能”。

另一部分则认为，合成数据终将让ai“自食其果”。

例如一篇来自牛津大学、剑桥大学、帝国理工学院、多伦多大学、爱丁堡大学和vector institute多家机构的研究表明：

使用合成数据训练，会让模型出现不可逆转的缺陷：

忘记那些“不可能发生的事件”，最终被自己生成的数据毒害。

有网友认为，这些合成数据最后会变成一滩“无法使用的污泥”——然后人们不得不被迫雇佣数据科学家来对它进行清洗。

还有网友调侃，这听起来就像是“ai近亲繁殖”一样。

你认为ai需要使用合成数据吗？

编辑/lambor