彭博今日发布了一份研究报告，详细介绍了彭博GPT（BloombergGPT）的开发情况，这是一种新型的大规模生成式AI模型。该模型是基于特定的金融数据训练的大型语言模型（LLM），旨在支持金融行业内多样的自然语言处理（NLP）任务。基于LLM的AI已在许多领域中展示了令人兴奋的新应用，然而，由于金融领域的复杂性和独特术语的存在，该领域需要一种特定领域的模型。BloombergGPT代表了为金融行业开发和应用这种新技术的第一步，该模型将协助彭博改进其现有的金融NLP任务，如情感分析、命名实体识别、新闻分类和问答等。此外，BloombergGPT还将为彭博终端上的大量数据提供新的机会，以更好地帮助公司的客户，并将AI的全部潜力带入金融领域。
在过去的十多年中，彭博一直是金融领域应用人工智能、机器学习和自然语言处理技术的先锋。现在，彭博支持大量多样化的NLP任务，并且这些任务将受益于新的财经感知语言模型。彭博的研究人员开创了一种混合方法，将金融数据与通用数据集相结合，训练出一个在金融基准上取得最佳成绩的模型，同时在通用LLM基准上保持竞争力。为了实现这一里程碑，彭博的机器学习产品和研究团队与公司的AI工程团队合作，构建了迄今为止最大的领域特定数据集之一，利用公司现有的数据创建、收集和策划资源。作为金融数据公司，彭博的数据分析师在过去的40年里收集和维护了金融语言文件。团队从这些丰富的金融数据中提取，创建了一个包含英文金融文件的3630亿标记数据集。该数据集与一个3450亿标记的公共数据集相结合，创建了一个超过7000亿标记的大型训练语料库。团队利用部分训练语料库，训练了一个具有500亿参数的仅解码器的因果语言模型。生成的模型在现有的针对金融的NLP基准、一套彭博内部基准以及来自热门基准的通用NLP任务的广泛类别（如BIG-bench Hard、知识评估、阅读理解和语言任务）上进行了验证。值得注意的是，在金融任务上，BloombergGPT模型在很大程度上优于类似规模的现有开放模型，同时在通用NLP基准上表现相当或更好。
0 replies