随着越来越多的公司投资于定制用例和产品的生成式人工智能(gen AI)，专有数据对于训练大型语言模型(llm)变得越来越重要。与ChatGPT不同的是，它是根据从互联网上抓取的数十亿公共数据点(电子邮件、脚本、社交媒体、论文)进行训练的，而企业世代人工智能通常需要指定用于该企业的客户数据。
但是，来自真实客户的数据可能包含个人可识别信息(PII)，因此使用这些数据存在隐私风险。这就是结构化合成数据公司(主要是人工智能)发挥作用的地方。
周二，该公司推出了一项合成文本功能，可以自动生成合成数据，并保留用户原始数据集的模式。
通过使用合成数据来训练模型，大多数人工智能旨在帮助企业避免隐私风险，同时不牺牲客户数据(如电子邮件、支持记录和聊天机器人交流)可以揭示的见解。根据该公司的说法，合成数据也可以比原始数据代表更多的多样性。
除了隐私之外，其他用例包括重新平衡数据集以使其适合模型或消除偏见并生成用于软件测试的模拟数据。
它是如何工作的
公司将他们的专有数据集上传到大多数AI生成器，这些生成器是受隐私保护的可重用包，其中包括来自原始数据的元数据。用户可以从本地设备或其他外部来源上传数据，并在most AI的平台上微调他们的生成器。
一旦他们确认了正确的配置和编码类型，用户就可以从他们想要使用的大多数AI模型中进行选择，然后从几个语言模型中进行选择，包括HuggingFace的预训练选项。
由此产生的是一个受隐私保护的数据合成版本，它保留了原始的统计模式。
这种设置有助于培训企业的生成器。然后，用户可以使用模型的报告比较合成数据和实际数据，以确保准确性。
大多数情况下，人工智能表示其数据集看起来“与公司原始客户数据一样真实，具有同样多的细节，但没有原始的个人数据点——帮助公司遵守GDPR和CCPA等隐私保护法规。”该公司补充说，它的合成文本“与gpt - 40 -mini生成的文本相比，性能提高了35%，而gpt - 40 -mini生成的文本要么没有提供，要么只有几个真实世界的例子。”
那么，合成数据真的是人工智能的未来吗?
高德纳(Gartner) 4月份的一份报告发现，合成数据在软件工程中具有未实现的潜力，但建议必须谨慎部署。创建合成数据可能是资源密集型的，因为有效地使用它需要针对每个用例进行特定的测试阶段。
“如今，随着模型耗尽公共数据来源，人工智能培训正进入平台期，收益也在递减，”大多数人工智能公司的首席执行官托比亚斯·汉恩在新闻稿中表示。“为了利用高质量的专有数据，这些数据比目前正在使用的剩余公共数据提供更大的价值和潜力，全球企业必须迈出这一步，利用结构化和非结构化合成数据来安全培训和部署即将到来的生成式人工智能解决方案。”
一个普遍的担忧是，人工智能泡沫即将破裂，部分原因是模型正在耗尽可获取的公开数据。虽然这在技术上是不正确的——任何人类活动都可以是数据，它可能只是没有被编码、收集、结构化和免费——但对更多可用数据来训练模型的需求是真实的。毕竟，与将凌乱的手写笔记数字化相比，真正擅长生成合成数据要容易得多(也便宜得多)。甚至meta也使用了人类和合成数据来训练Llama 3.1 405B。
但是模型崩溃呢?模型一旦吸收了太多的合成数据就会恶化。
大多数人工智能公司在给ZDNET的一封电子邮件中表示，它避免了这种可能性，因为“合成数据只生成一次，直接应用于下游任务”，而不是用来反复训练模型。
各行各业越来越多地使用合成数据是否会造成模型崩溃的更大威胁，还有待观察。在那之前，对most AI工具感兴趣的企业可以访问其网站。
本文来自作者[山露]投稿，不代表克莱斯特立场，如若转载，请注明出处：https://wak.kelaisite.cn/wiki/202505-719.html
评论列表（4条）
我是克莱斯特的签约作者“山露”！
希望本篇文章《合成数据能否成为人工智能隐私问题的解决方案？这家公司正在全力以赴》能对你有所帮助！
本站[克莱斯特]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：随着越来越多的公司投资于定制用例和产品的生成式人工智能(gen AI)，专有数据对于训练大型语言模型(llm)变得越来越重要。与ChatGP...