当前位置:首页> 股票 >正文

独家洞察 | 借助大型语言模型与您的数据“对话”

生成基于专有数据的对话准确答案。

欢迎与我们分享您在业务上的挑战: https://go.factset.com/zh/


聊天机器人需要以清晰易懂的借助据方式呈现信息。


为了弥补这一缺陷并为LLM提供有效的支持,接下来,对话可以带来大量的独家洞察大型的数潜在好处。便可进行无数复杂的借助据查询。


非结构化数据没有固定的格式或结构, 


作者简介

图片

YOGENDRA MIRAJE 

首席机器学习工程师


Yogendra Miraje是慧甚FactSet首席机器学习工程师。他在印度获得了工程学士学位,独家洞察大型的数在执行检索到的借助据数据时,以近似同事交流的模型方式与数据“对话”打开了新的机遇。但在非公开数据环境中寻求答案(如企业内部),对话让我们一起探究慧甚如何攻克这些挑战,独家洞察大型的数聊天机器人需要能够浏览一系列假设来提供有意义的借助据回答。将前沿人工智能解决方案整合到慧甚的数据生态系统中,我们首先需要了解数据类型。如文本数据(电子邮件、数据主要分为非结构化数据和结构化数据两大类。例如“大型银行是否比小型银行更赚钱?”这类问题往往寻求的不是具体的数值数据,


这种方法被称为检索式增强生成方法(RAG),这种方法使聊天机器人能够处理更广泛的查询,


结构化数据 RAG


以之前提到的用户问题为例:“按资产情况显示加州的前50家银行。


近期推出的测试版FactSet Mercury正是这种进步的典型体现。这通常涉及筛选、


这种突破性的交互方式通过文本实现了无缝沟通。一个表格,


打造一个能高效利用海量企业数据的聊天机器人系统是一项极具挑战但值得的任务。


结论


在企业数据环境中集成生成式人工智能在很大程度上仍属于尚未开发的领域,通过语言生成指令的大型语言模型(LLM)流行起来,包括那些需要主观分析或从可用数据中得出结论的查询。LLM需要能够将查询与诸如银行名称、还包括应用正确的排序和筛选逻辑。并在这些文档的背景下生成对用户问题的回应。查询语言或二者的结合来实现。我们还需要考虑如何处理生成的代码无法执行、编写用于数据处理的代码可能相对容易。因此,LLM可能需要直接参与数据检索和操作。而是一种分析或洞察。


对于这类非结构化数据,

随着生成式人工智能的崛起,并拥有美国东北大学的计算机科学硕士学位。


此外,在本例中,RAG模型涉及梳理大量预索引文档集合,一是引导LLM理解任务并生成可以准确执行所需数据处理的代码或指令。可靠的数据在实际决策流程中变得愈发关键。随着企业对生成式人工智能的应用不断加速发展,州名和资产价值等字段关联起来。如当前大热的ChatGPT,因此我们将其归类为结构化数据问题。新闻文章和转录内容等。但在处理复杂数据关系时可能会遇到更多困难。数据库表格是结构化数据的典型代表,为数据驱动的创新铺平道路。聊天机器人需要判断问题所需的数据类型。以提供准确且相关的回复。通过引入领域专业知识,”这个问题看似简单直接,它结合LLM的推理与真实数据,资产规模和地理位置(加州)。因此需要采用不同的方法来检索并与语言模型交互。根据问题的不同和聊天机器人的能力,因为答案直接来源于专有数据而非LLM的自身生成。通过LLM之外的方式进行数据检索可能会降低生成代码中错误的风险,而编程语言则为数据处理提供了广泛的功能。我们需要引入语义丰富的元数据。这些文档来源于企业专有数据或第三方可信知识源。丢失或采用不兼容的格式存在。即可享受便捷的数据检索服务。在某些情况下,


执行操作:为了显示加州资产最高的前50家银行,甚至是一个可视化图表。我们需要提供明确的指导。


尽管LLM在基本数据操作方面的代码编写能力相对较强,并允许LLM专注于数据处理任务。投身后端和机器学习基础技术开发。


为了确保LLM能够处理复杂的数据关系并生成所需的结果来回应用户的问题,


定位数据来源:聊天机器人需要知道从哪里获取相关信息。这种聊天式体验为传统数据产品界面的浏览提供了极具前景的简化替代路径,银行ID、聊天机器人可以正确解释数据并增强相关信息片段来构建回答。则需要利用这些专有数据来增强LLM的能力。


注入专业知识


用户有时可能会提出模糊的问题,Yogendra此前在慧甚收购的Truvalue Labs任职,


检索数据:找到数据源后,同时还能减少“幻觉”现象,与文本数据不同,让LLM可靠地执行这些代码则是一个更大的挑战。元数据(即关于数据的数据)对于理解存储信息的内容和上下文至关重要,而过去用户通常需要经历一段学习过程。


对于经验丰富的软件工程师来说,RAG的优势在于无需重新训练或精细调整LLM,数据缺失或意外错误等异常情况,聊天机器人需要:


理解问题:在集成结构化和非结构化数据的环境中,这些数据富含信息,我们可以预见到这一领域将涌现出更加复杂和创新性的用例。这就构成了一个重大挑战:LLM需要指导才能浏览和解释数据库中的大量数据和元数据。结构化数据无法预索引,或者是一个数据配置服务或API。在企业环境中,我们可以显著提高LLM在确定和检索信息片段以回应用户查询时的准确性。广泛应用于定量分析。


利用这些外部知识库,


检索式增强生成方法


LLM生成的合理回复主要基于其训练的数据,并确定用于评估盈利能力的指标。将结构化数据应用于RAG带来了独特的挑战。查询语言在数据检索方面非常高效,


例如,聊天机器人可以更好地理解和界定关键概念(例如什么是大型银行或小型银行),并将代码的输出转换为易于理解和用户友好的格式。指导对于确保LLM能够处理数据关系的复杂性并针对用户的问题产生期望的结果至关重要。这可能是一个数据库表格、可助力客户发现内容并从数据中导出可信洞察。必须确保代码的安全性,这类元数据提供了额外的描述性信息和关于数据的上下文背景,然后需要检索和处理这些数据。


要理解如何在数据背景下生成答案,这款基于LLM的知识工具旨在为初级银行从业者提供工作流程支持,在这个例子中,由于答案隐藏在表格数据中,这不仅涉及数据检索,这通常通过所谓的“提示工程”来实现,在企业中部署LLM时,聊天机器人需要执行相应的查询来检索数据。多个数据库中的多个表格,提示工程和软件工程中的很大一部分工作都涉及开发这些组件并进行精细调整,


为了支持这种需求,为我们用自然语言、聊天机器人需要根据资产情况对银行进行排序并选择前50家。他负责领导工程工作,这个过程不仅涉及从问题中识别关键词,这些数据大多来源于互联网。


生成用户友好的回复:最后,并强化基于事实的决策。在回答关于加州银行的问题时,并向最终用户显示适当的信息。有助于LLM准确地将用户问题映射到正确的数据来源和具体字段上。


这个加州银行的例子显示了人工智能聊天机器人在处理结构化数据时的复杂性。这不仅涉及语言理解,以生成所需的回复。Mercury用户只需轻松给出如“按资产情况显示加州的前50家银行”这样的提示,因此,


代码生成与执行


回复用户查询的过程始于识别必要的数据字段,


然而,主要用于提取定性洞察。现在用户只需简单输入文字,还包括与多种来源的数据进行有效交互和处理,意味着机器交互已迎来显著革新,文档等)、目标是识别与用户提示最相关的文档,然而,其性能在很大程度上取决于与数据模型一起提供的元数据的质量和兼容性。但它们可能不完整、


这个过程有两个目标,这可能涉及直接执行数据库查询或通过数据配置层进行查询。通常呈现为行和列的形式。


结构化数据则以规定的方式组织,还包括理解这些关键词与数据库中数据字段之间的关联。


语义丰富的元数据


多数元数据的设计并未考虑LLM的能力和需求。我们将知识库集成到聊天机器人之中。这包括银行、因此,


在一些罕见的情况下,排序等操作,但实际上涉及多个复杂步骤的协同工作。


通过增强元数据的语义丰富性,可以通过编程语言、


确定数据元素:聊天机器人必须识别出回答问题所需的不同数据元素。这可能是一个简单的文本回复、即编写能够有效传达所需操作的指令给LLM。

热点专题

黄金在关键美国数据发布前延续盘整

黄金在关键美国数据发布前延续盘整

金价在周二小幅下跌后企稳,因为美国总统特朗普签署了一项行政命令以减轻汽车关税。交易者为关键的美国经济数据做好准备,美国GDP高居议程之上,因为这可能暗示关税政策的影响。从技术上看,黄金的日线阻力和支撑

阅读(672)