迪士尼彩乐园最高代理 金融大模子利用评测报告
发布日期：2024-07-24 19:31 点击次数：166
一、评测范式迪士尼彩乐园最高代理
对象界限：涵盖国表里 14 个主流机构的 20 个模子，包括通用基模与金融垂模，触及多模态及说话模子，如 OpenAI 的 GPT-4o-20240806、Anthropic 的 Claude-3.5-Sonnet -20240620 等，从银行、证券、保障、基金等场景开拔，笃定 5 大测评维度。
骨子与步调：主不雅与客不雅皆集，基于金融需求对模子多方面才能历练。如模子基础才能用 OpenCompass 评测通用数据；金融安全与价值对皆才能等通过主不雅题大模子评分或客不雅题判断正误评估。
数据集：选用《库帕念念金融大模子评测数据集（2024 版）》，含模子基础才能、金融安全等 5 部分，部分样例已公开，各部分数据量依才能维度不同而有各别。
器具：中枢器具为 OpenCompass 平台，其漫衍式评估系统雄壮，相宜多种评估步调，可自动计较客不雅题准确率、审核主不雅题，还具备实验贬责和报告功能。
概述评估分数：线性加权模子计较，依各维度及细分维度权重处理盘算推算得分。多模态才能病笃，未提供的机构在总分不计分。
二、评测成果
有记者提问：韩国联合参谋部称，朝鲜今天发射一枚中程弹道导弹，这是朝鲜自去年11月发射弹道导弹后，时隔两个月再次发射弹道导弹。中方如何看待此次发射？
据小区居民介绍，迪士尼彩乐园发生火灾的是小区47号楼2楼一户居民家，从窗口冒出大量黑烟。随后有人看到该户房间内有明火。小区内弥漫着焦煳味。
张开剩余84%参评模子平均总分 71.9 分。排行前三挨次为 Anthropic 的 Claude-3.5-Sonnet-20240620（79.8 分）、阶跃星辰/财跃星辰的 Step-2-16k/Finstep（79.7 分）、阿里巴巴的 Qwen2.5-72b-Instruct/Qwen2-VL-72B（77.6 分）。在模子基础才能、金融安全与价值对皆才能、金融风险扫尾才能、金融专科明白才能、金融业务援手拓展才能这五个方面，各有不同模子推崇超越，但合座水平存在各别。
三、评测回来
金融安全与价值对皆推崇超越，但金融专科明白和多模态处理才能待擢升。需握续更新安全评测步调与数据集，诊疗利用中潜在安全问题，挖掘大模子在投顾业务外的利用后劲。
高质地金融语料教授要道，多模态数据集尤甚。要会通业务与现实构建优质数据集，鼓吹模子才能擢升与调动利用。
构建动态更新的金融业务中枢评测框架，促进模子与业务精确对接，规范行业规范，助力高质地发展。
免责声明：咱们尊重常识产权、数据秘密迪士尼彩乐园最高代理，只作念骨子的收罗、整理及共享，报告骨子开首于积攒,报告版权归原撰写发布机构整个，通过公开正当渠谈取得，如触及侵权，请实时关系咱们删除，如对报告骨子存疑，请与撰写、发布机构关系
发布于：广东省