天天热讯:华泰证券:从BloombergGPT看金融GPT机遇
2023年3月30日,金融信息提供商彭博社发布了专为金融领域打造的大语言模型(Large Language Model,LLM)Bloomberg GPT。该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务,在执行金融任务上的表现远超过现有模型,在通用场景上的表现与现有模型也能一较高下。
华泰证券分析师谢春生(执业:S0570519080006)认为,掌握金融数据的国内厂商也有望复制Bloomberg GPT的路径,实现大语言模型在金融场景的有效赋能。
核心突破在于金融语料
(资料图片仅供参考)
尽管Bloomberg GPT的模型参数介于GPT-2与GPT-3之间。但BloombergGPT的金融垂直能力远超GPT系列。
分析师指出:
根据论文《Bloomberg GPT: A Large Language Model for Finance》的模型介绍显示,Bloomberg GPT同样基于典型的Transformer架构,Bloomberg GPT的模型参数介于GPT-2与GPT-3之间,GPT-2模型参数为1.5亿,GPT-3模型参数为1,750亿,Bloomberg GPT的模型参数为500亿。
官方论文《Bloomberg GPT: A Large Language Model for Finance》中的测试结果显示,Bloomberg GPT在执行金融任务上的表现超过现有的通用LLM模型,在通用场景上的表现与现有通用LLM模型能力基本持平。
尽管Bloomberg GPT的模型参数相较于GPT-3较小,但分析师表示,依托彭博社的大量金融数据源,Bloomberg GPT在预训练中获得了大量高质量金融数据,并对预训练数据进行了一系列的清洗、标注,Bloomberg GPT在通用能力与GPT-3基本持平的情况下,实现了金融垂直能力的大幅增强。
开拓开源模型+垂直数据的LLM新思路
Bloomberg GPT在开发方式上有何独特之处?分析师认为,在模型构建上,Bloomberg GPT显示出了卓越的创新,为国内金融数据公司开发大模型提供了有意义的路径参考。
具体而言,主要体现在五个方面:
1)垂直领域语言模型:过去的大语言模型多为基于通用文本训练的通用模型,垂直领域模型多为仅基于垂直领域数据训练垂直模型,Bloomberg GPT开创了通用+垂直的混合训练方法,让模型兼具通用性与专业性;
2)训练数据:过去的大语言模型的预训练数据很大程度上依赖于网页抓取数据,如C4、ThePile、Wikipedia等,Bloomberg自建了高质量的大规模金融数据集;
3)模型评估:Bloomberg在对模型进行了公共、金融NLP基准测试之外,还对模型进行了一系列基于Bloomberg内部任务的性能测试;
4)Token化(Tokenizer):将训练文本Token化是模型训练的关键步骤,Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型,实现更智能的token化转换;
5)模型构建方法:以GPT-3、GPT-4为代表的大语言模型均由大型的专业人工智能团队开发,并且模型训练需要大量算力;受益于开源模型BLOOM的项目实践与Bloomberg在垂直领域高质量数据的深厚积累,Bloomberg GPT成功证明了一个中等规模的团队可以在垂直领域的特定数据上生产同样具有竞争力的大语言模型。
金融GPT未来可期
分析师认为,Bloomberg GPT未来有望应用于以下三大场景:
1)Bloomberg查询语言的生成:Bloomberg GPT可以将用户自然语言查询转换为有效的Bloomberg查询语言,使与金融数据的交互更加自然;
2)新闻标题的建议:Bloomberg GPT可以为Bloomberg的新闻应用程序提供支持,协助新闻工作者完成新闻短标题的撰写;
3)金融问答:得益于金融垂直领域知识的输入,Bloomberg GPT可以更加准确地回答金融相关的问题,例如在识别公司CEO的问答上,Bloomberg GPT的回答相较通用模型更为准确。
分析师指出,作为并非聚焦人工智金融垂直领域厂商,Bloomberg为金融GPT发展提供了具有参考价值的有益示范。
掌握丰富的金融垂直知识与现有AI产品布局,基于高质量的金融数据与开源的大语言模型,同样有机会打造专属金融场景的大语言模型,实现大语言模型在金融场景的有效落地,让大语言模型成为底层的AI操作系统。
标签:
精彩推送
天天热讯:华泰证券:从BloombergGPT看金融GPT机遇
2023年3月30日,金融信息提供商彭博社发布了专为金融领域打造的大语言模型(LargeLanguageModel,LLM)BloombergGPT。该模
全球快资讯:网络安全专业人士了解自己是否胜任首席信息安全官的五种方法
随着首席信息安全官发挥越来越重要的作用,担负的责任也越来越大,许多网络安全专业人士需要了解他们是...
天天信息:27套“懒人”春季穿搭,单拎出来普通的单品,教你穿得优雅又精致
嗨,这是一次乘车,一位专注于着装的时尚专家,专为你的美丽而设!对于普通女孩来说,“第二天穿什么”...
新闻快讯
新闻快讯
- 天天热讯:华泰证券:从BloombergGPT看金融GPT机遇
- 全球微资讯!一个岸上拖一个水里救,民警辅警救回跳河女子
- 环球观热点:江西润达地产所持赣州润达企管1亿元股权遭冻结
- 全球快资讯:网络安全专业人士了解自己是否胜任首席信息安全官的五种方法
- 世界观察:南通法拍成功试水“带押过户”
- 当前热文:杭州青芒公寓是蓝领公寓吗?
- 天天信息:27套“懒人”春季穿搭,单拎出来普通的单品,教你穿得优雅又精致
- 全球微动态丨到了夏天冰箱开几度不费电
- 焦点精选!受降雨影响 河南多条高速实施交通管制
- 快消息!黑客利用Windows旧漏洞侵入通信公司,该漏洞被发现已十年
- 【速看料】拒不履行判决、裁定罪!平原一父亲被判刑!
- 滚动:【图解财报】卓尔智联2022年营收1109.06亿元 同比增长6.08%
- 当前报道:班切罗14+9怀斯曼两双 小瓦格纳16分魔术大胜活塞
- 当前资讯!中金:政策利好支持下Q2港股反弹势头仍在 关注高分红潜力国企及优质成长板块
- 焦点滚动:华媒控股(000607)3月31日主力资金净卖出140.63万元
- 全球热点!刚刚公布!长沙各区公办小学学区范围汇总(附配套入学楼盘详单)
- 当前速递!现在买什么基金最好最可靠_现在买什么基金好
- 【环球热闻】海南全岛封关,意味着什么?
- 天天即时看!模拟调节器(关于模拟调节器介绍)
- 快报:受伊拉克、安哥拉减产拖累,OPEC 3月原油产量环比减少7万桶/日
- 热推荐:网传母亲教育孩子被气死 家属回应 事情经过是怎样的??
- 每日聚焦:钢筋的重量怎么算得出1米多重_钢筋的 重量怎么算
- 观热点:镀锌槽钢发黄怎么清洗变白_镀锌发黄原因分析
- 天天看热讯:马伊琍时尚着装,另类穿着,难道是今年冬天着装的“风向标”
- 每日速递:歌手徐波荣为爱走进“谢谢你”栏目组尽显男儿真情
- 环球快看点丨签到荒古圣体_签到
- 当前要闻:四川成都经自贡至宜宾高铁首条接触线成功架设
- 天天要闻:禹洲集团:谢梅退休因辞任非执行董事,宋家俊已获委任
- 每日快报!“庐小志”爱心捐书圆乡村学子阅读梦
- 天天微头条丨阳历9月是什么星座(九月份出生的两个星座)
- 视点!透过《天窗》你看见了什么?《天窗》(中文版)回归茉莉花剧场
- 信息:华润三九(000999):2022业绩符合预期 CHC业务快速增长
- 环球微资讯!清华大学“昆山周”开幕式暨昆山元宇宙产业发展推介会举行
- 【独家焦点】华新精科IPO:募资4亿扩产 产能利用率却不足 招股书显示,此次IPO,华新精科计划募集资金7.1亿元,其中4.4亿元将用于新能源车用驱动电机铁芯扩建项目,6740万元将用于精密冲压及模具研发中心项目,2亿元将用于补充流...
- 【世界聚看点】果蔬脆片能吃吗_果蔬脆片是健康食品吗今日更新
- 全球快讯:甘肃省人民代表大会常务委员会关于批准《兰州市供水条例》的决定
- 每日播报!阜新矿业学院属于几本现在叫什么
- 当前速递!2023年怎么活?建筑设计院重塑竞争力
- 全球新资讯:万和电气(002543):3月30日北向资金增持6.29万股
- 全球今头条!白宫提议收紧对中型银行监管 增加压力测试频率
- 天天实时:杨学增:我们信心不足 耐心不够 在攻守两端都暴露出很多问题
- 世界观速讯丨香港证监会行政总裁:加密货币平台是Web3.0生态的一部分
- 世界即时:我国科学家证实立方冰的存在
- 环球百事通!茅浆窖1987多少钱_茅浆窖53度1987年价格
- 环球通讯!宝马 i5 M60最新视频曝光,正在进行冬季测试
- 环球即时:一批新兴技术企业与中国国际经济咨询公司在杨浦签约
- 当前报道:宝骏310加满油能跑多少公里(宝骏310加满油能跑多少公里呢)
- 天天百事通!把最好的空间给居民,居委会让出阳光房建养老驿站
- 全球今热点:湖南:聚焦“制造强省等专项资金”专项审计 确保好钢用在“刀刃”上
- 全球热文:强身健体磨炼意志 黟县师生开展远足励志德育品牌活动