今天，Meta宣布推出新的AI模型系列Llama 2，旨在驱动OpenAI的ChatGPT、Bing Chat和其他现代聊天机器人等应用程序。Meta声称，经过公开数据的混合训练，Llama 2的性能比上一代 Llama 模型有了显着提高。
Llama 2是Llama的后续版本，Llama是一个模型集合，可以根据提示生成文本和代码，与其他类似聊天机器人的系统相当。但Llama只能根据要求提供；由于担心被滥用，Meta 决定限制对模型的访问。（尽管采取了预防措施，Llama 后来还是在网上泄露并在各个人工智能社区传播。）
相比之下，Llama 2（可免费用于研究和商业用途）将以预训练的形式在AWS、Azure和Hugging Face的AI模型托管平台上进行微调。Meta 表示，由于与微软以及搭载高通Snapdragon片上系统的智能手机和PC扩大了合作伙伴关系，它会更容易运行，针对 Windows 进行了优化。（高通表示正在努力在2024年将Llama 2引入Snapdragon设备。）
那么Llama 2与Llama有何不同？Meta在一份冗长的白皮书中以多种方式强调了所有这些。
Llama 2有两种版本：Llama 2和Llama 2-Chat，后者针对双向对话进行了微调。Llama 2和Llama 2-Chat进一步细分为不同复杂程度的版本：70亿个参数、130亿个参数和700亿个参数。（“参数”是从训练数据中学习的模型的一部分，本质上定义了模型解决问题的技能，在本例中生成文本。）
Llama 2使用200万个token进行训练，其中“token”代表原始文本，例如“fan”、“tas”和“tic”代表“fantastic”一词。这几乎是 Llama 训练数量（1.4万亿）的两倍，而且一般来说，代币越多，生成人工智能就越好。据报道，谷歌当前的旗舰大语言模型 (LLM) PaLM 2接受了360万个令牌的训练，据推测GPT-4也接受了数万亿个令牌的训练。
Meta在白皮书中没有透露训练数据的具体来源，只是说它来自网络，大部分是英文的，而不是来自公司自己的产品或服务，并强调文本的“事实”性质。
我大胆猜测，不愿透露培训细节不仅源于竞争原因，还源于围绕生成人工智能的法律争议。就在今天，数千名作者签署了一封信，敦促科技公司停止在未经许可或无补偿的情况下使用他们的作品进行人工智能模型训练。
但我离题了。Meta表示，在一系列基准测试中，Llama 2模型的表现略差于最受瞩目的闭源竞争对手 GPT-4 和PaLM 2，其中Llama 2在计算机编程方面明显落后于GPT-4。但Meta声称，人类评估者发现Llama 2与ChatGPT 大致一样“有帮助”；Llama 2在一组大约4,000条旨在探究“有用性”和“安全性”的提示中给出了相同的答案。
不过，对结果持保留态度。Meta承认，它的测试不可能捕捉到所有现实世界的场景，而且它的基准可能缺乏多样性——换句话说，没有充分涵盖编码和人类推理等领域。
Meta还承认，Llama 2与所有生成式AI模型一样，在某些轴上存在偏差。例如，由于训练数据的不平衡，它很容易以比“她”代词更高的速度生成“他”代词。由于训练数据中存在有毒文本，它在毒性基准方面的表现并不优于其他模型。《骆驼 2》有西方倾向，这再次归功于数据不平衡，包括大量的“基督教”、“天主教”和“犹太教”等词。
在Meta的内部“有用性”和毒性基准上，Llama 2-Chat模型比Llama 2模型表现更好。但他们也往往过于谨慎，
真空吸盘模型要么拒绝某些请求，要么回应太多安全细节。
公平地说，基准测试并未考虑可能应用于托管Llama 2模型的额外安全层。例如，作为与Microsoft合作的一部分，Meta使用Azure AI Content Safety，该服务旨在检测AI生成的图像和文本中的“不当”内容，以减少 Azure上有毒的Llama 2输出。
即便如此，Meta仍然尽一切努力与涉及Llama 2的潜在有害结果保持距离，在白皮书中强调Llama 2用户除了遵守有关“安全开发和使用”的指导方针外，还必须遵守Meta的许可条款和可接受的使用政策。部署。”
“我们相信，公开共享当今的大型语言模型也将支持有用且更安全的生成式人工智能的开发，”Meta在博客文章中写道。“我们期待看到世界通过Llama2构建出什么。”
然而，考虑到开源模型的性质，目前尚不清楚这些模型如何准确使用或在何处使用。随着互联网的迅猛发展，我们很快就会知道答案。
