浙商证券,中银基金,工银安盛资管,汇丰,华商基金,长江证券,海通证券,鹏华基金,长江养老,利幄基金,晶凯资本,国联基金,鸿道投资,鑫元基金,沣杨资产

现场互动与交流
1、当前市场上各厂商的大模型运营平台LLMOps产品前端都长差不多,公司的比较优势在哪里?
回复:各家有各家的特色,虽然都在开发LLMops,但是对厂商能力的要求不仅限于具备单一的部署、训练、微调模型的能力,还在于构建的场景和价值实现,包括对客户的语料和知识进行整理。公司的能力覆盖了从语料的接入和开发、提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控,到对业务效果提升的全链路流程,这一能力远远超过一些仅从单一环节切入的竞争对手。公司起家是做大数据基础软件的,对于数据集成、数据治理、数据资产管理等的理解相较竞争对手更深刻。公司的LLMOps支持多模态的数据从多数据源上传,支持语料数据的编目体系整理、数据清洗处理、语料标注、带权限的发布共享等,真正覆盖语料的接入、处理、标注、运营、安全的全生命流程管理。此外,公司的LLMOps注重企业级的运营能力以及协作能力,可通过角色区分操作权限,通过租户实现资源隔离,对任何资源使用提供审批管理,并对平台上的模型服务、应用服务、知识服务进行监控和计量。

2、开源的语料处理工具是否会对公司的语料处理工具产生威胁?
回复:目前没有威胁。开源软件仅提供底层的处理框架,客户自己去开发的成本较高,且开源工具对于大规模数据的处理存在障碍,欠缺对于TB级别以上的语料处理能力,也不适合做大规模的数据对齐和预训练。同时,开源工具也会存在安全问题,无法保障客户的数据隐私。

3、自DeepSeek爆火以来,公司客户的订单问询及商机层面的变化如何?
回复:商机层面,尤其是AI方向,远高于去年。主要的催化如下:原来金融机构对于海外的模型没有大范围试用,而国内模型的效果相对一般。DeepSeek出现之后,客户逐步开始有专门的预算投入。政府端本地化部署的问询也大幅增加,公司正在积极的对接过程中。公司的产品Sophon LLMOps可以助力客户基于DeepSeek的各系列模型进行训练、推理、应用开发,实现知识库和工具调用,快速部署至企业内部,加速基于大模型的企业级应用快速落地。

4、对于企业而言,其接入DeepSeek的难易程度及预计效果如何?
回复:企业接入DeepSeek的推理模型,可以使得各种智能体更高效的利用,但企业无法仅通过接入模型来实现应用发挥效能,需要视应用场景而定。比如对于合同的审核,就包含了各个部门对合同的不同理解,这些是推理模型无法完成的,因此构建前期的知识库和语料非常重要。前期语料处理工作,尤其是对各种企业内部行为数据的处理,均需借助其他工具进行整理,例如 RAG(检索增强生成)、GraphRAG(图检索增强生成)、KAG(知识增强生成)等各类有效利用数据和知识的增强手段。这些手段与大模型,尤其是推理大模型高效协同,能更好地解决真实业务场景中大模型 / AI 原生应用面临的链路长、决策复杂、时效性高、稳健性强等问题。同时,可以针对大模型以及应用在前期、中期、后期所产生的不同训练、调优、运营数据和反馈,积累更多有场景针对性的数据资产,进而推动业务中数据飞轮的转动,让大模型利用企业积累的各类知识边推理边检索。我们提供工具助力客户进行推理模型的前期部署工作,比如语料层面会有一系列的语料工具,包含转换、过滤、去重,并进行安全隐私处理和语料评估。

5、现在很多企业都在销售企业一体机,公司在硬件层面的布局如何?
回复:公司在一体机的布局主要覆盖三类产品:(1)星环知识平台一体机;(2)Sophon LLMOps搭载在工作站或者机架式服务器上;(3)AIPC,由星环提供在个人电脑上运行的大模型应用。

6、公司开发的向量数据库的作用?
回复:可以将向量数据库理解成为一个大模型推理过程中所需要的外挂的、具备高时效性以及拥有企业专精知识的知识库,为企业用户的回复提供有根据的溯源。目前公司的分布式向量数据库是根据数据存储量和性能(例如每秒执行查询次数)的不同进行收费的。