是如何重塑软件公司的?|投什么

本篇内容根据海外独角兽「AI重塑系列研讨会:AI是如何重塑软件公司的?」上的讨论整理。「AI重塑系列研讨会」是海外独角兽发起的闭门活动,希望能激发出最AI-native的投资ideas。

GenAI革命是知识生产力革命,终端场景是LLM的价值放大器,因此,在构建

时,除了提供基建服务的Hardware、Infra,我们也将AIApplication纳入其中。

虽然和硬件、infra相比,今天真正在产品中部署LLM、并通过LLM获得实打实增长的公司相对较少,但这一轮生产力革命下,LLM的massiveadoption速率也许比我们预想中要更快。

ServiceNow是我们目前看到的有限的几家能帮助企业部署AI的公司中表现最好的一家。在这次闭门讨论中,拾象团队分享对企业部署AI的最新观察外,我们还请到了ServiceNow专注于AI搜索产品的StaffEngineerKewei,围绕ServiceNow,重点讨论了为什么ServiceNow的AI策略、企业搜索的难点以及AIAgent等话题。

💡

目录💡

01企业的AI实践已经进入部署阶段

02ServiceNow是如何受益于AI的

03对谈ServiceNow

01.

企业的AI实践从试验进入部署阶段

分享人

李双星:

拾象二级投资负责人。10年 投资经验,2019年起开始管理组合,长期跟踪全球互联网与科技行业。

在拾象的中,除了硬件和Infra之外,AI所带来的企业ITbudget和软件模式的变化也是我们的重要视角。结合拾象团队的一手调研,和一系列CIO调研报告,我们最近明显感受到,当前企业们运用AI对IT价值的挖掘正在变得深入,开始从试验测试进入部署阶段,基于这一趋势,我们中长期从基本面角度来对企业侧AI实践投资主题保持乐观。

•信号1:未来2年企业的IT支出会持续增加

在近期一系列针对企业IT支出的调研中,我们可以观察到一个共同的趋势,即:全球范围内,企业对于在未来1年的IT支出还是保持相对乐观的状态,

尤其软件方面的预期财务支出。

而在具体的板块分布上,AI毫无疑问是很多企业现阶段IT投入最重要的环节。

企业在AI上的大力投入也带来了对其他企业IT支出的“挤出效应”,但总体上,AI相关、云相关和网络安全是目前企业认为最重要的投资领域。

•信号2:很多企业的AI应用已经从试验到了部署阶段

AI作为CIO们最关注的领域,ITSpending占比最高、且还在提升,2Q24的占比为16.3%,比1Q24增长了2.6个百分点。

与此同时,我们也看到企业在AI的投入方向上正在从“试验”向“部署”转变,在2023年的7月、12月到今年的6月的三次采样中,我们能够明显看到AI部署的渗透率的逐步提升。

•信号3:预计明年外部业务场景中也会大范围开始部署LLM

如果看企业具体是如何部署AI,就会发现,在今年企业还是以内部IT支援或运营提效作为主要方向,这一点也符合了我们的观察。

之所以最先用LLM来提升企业内部的效率,因为现阶段LLM还存在幻觉或者其他成本上的优化空间,但从我们和很多企业直接交流的情况来看,即便只能部署在内部场景中,企业对LLM带来正ROI这件事是没有质疑,这也是他们现在在企业内部很愿意在很多场景去尝试的原因,所以我们得到的企业反馈都是很正面的。

对于2025年的预期,我们看到很多企业表示,随着模型的成熟,他们会进一步考虑在对外功能上尝试LLM,主要就是营销与销售环节,因为这两个板块属于欧美企业成本很高的两个职能,所以我们认为,企业下一步对AI的部署就是以提高对外的效率为主。

•投资布局:2024年下半年可能进入应用真空期,但对中长期保持乐观

另外,在我们的观察中,也许我们即将进入到一段“应用真空期”,在这个区间内最直接的感受是AI的部署效率比我们想象中慢、不会有特别新的场景出现,从投资决策角度也会陷入一段审美疲劳期。

但是我们对中长期的趋势是非常乐观的。也许短期来看无论是技术面,或者说市场的narrative上,可能会出现“真空期”,但是我们相信,随着GPT-5年底的发布,以及Claude-3.5系列模型的陆续推出、多模态的持续解锁,所以,到2025年再来看大众应用的话,和今天相比一定是相当乐观的状态。

02.

ServiceNow

受益于GenAI的软件公司

ServiceNow帮助企业有效部署GenAI的能力来自于它既有的产品属性:布局足够充分,基本覆盖了企业workflow得关键环节,“Onecode,Onedatamodel”的技术主张也提供了数据准备。

NowPlatform:企业的工作流引擎

ServiceNow(NOW)创立于2004年,2012年6月在纽交所上市。ServiceNow产品可分为三大类:底层平台、IT类和新兴产品三部分。其底层平台NowPlatform是ServiceNow最核心的工作流引擎,IT类产品包括ITSM、ITOM、ITBM和ITAM,IT工作流产品是ServiceNow最强势的产品,目前的市占率超过了70%,新兴产品则涵盖了客户服务(CSM)、人力管理(HR)等场景。

ServiceNow很早就确定了“Onecode,Onedatamodel”的基础平台策略,它所有产品和服务的基础都是基于底层平台NowPlatform来展开的。

NowPlatform提供了一个统一的技术栈,让所有功能和应用都能在同一个平台上开发和运行,这一产品理念让ServiceNow在云时代成为企业数字化转型底座,在GenAI时代也有机会成为AI转型底座。

NowPlatform的统一平台特性具体体现在:

•Onecode,Onedatamodel

技术框架下,所有应用共享同一个代码库和数据模型,避免数据孤岛和重复数据问题同时,也提高了开发效率和数据一致性;

•兼容性和可拓展性:

NowPlatform采用模块化设计,允许不同的功能模块(如IT服务管理、人力资源、客户服务等)独立开发和部署,同时保持彼此之间的兼容性,同时,平台的设计允许轻松添加新功能或整合第三方应用,而不会影响现有系统的稳定性。这种架构也让新功能和产品可以更容易地集成到现有系统中,无需大规模的重构或单独的实施;

•跨领域应用:

由于所有功能都建立在同一平台上,不同业务领域的应用可以轻松共享数据和功能,促进了跨部门的协作和流程优化,而这一点也让ServiceNow更低摩擦得将自己的产品ITSM延展至其他场景,从而实现了workflow的渗透。

ServiceNow的统一架构优势与Salesforce对比会体现得更明显。Salesforce历史上运行了四个独立的云服务(如ServiceCloud和SalesCloud等),这意味着Salesforce推出GenAI产品时,可能需要在所有四个核心上进行训练和实施,增加了复杂性。相比之下,ServiceNow由于所有功能都构建在最底层的平台之上,因此可以更快速地进行创新和部署。

ServiceNow的GenAI布局

NowAssist是ServiceNow在2023年底发布的GenAI产品,

它延续了ServiceNow的平台化策略,All-in-one地承载了ServiceNow上的AI相关能力,已经覆盖了ServiceNow的几个主要套件产品,包括ITSM、CSM等,目前NowAssist提供的AI能力主要集中在最基础的摘要(summary)和推荐(recommendation)功能上。

NowAssistforITSM面向的是ServcieNow的IT工作流产品线,它首先增强了面向用户的虚拟助理能力,能够提供详细的历史工单摘要,并能够以Q&A的方式提供对支持问题的回答,而不仅仅是搜索结果。而且它还能为完成的支持事件生成最佳实践文档。NowAssist在NowPlatform中还能提供提供自然语言生成代码、工作流和流程Playbook等功能。NowAssist也用于客户工作流和HR服务等套件应用,起到非常类似的作用。

NowAssist是ServiceNow历史上增长最快的产品,

根据2024Q2财报,NOWAssist的净新年化合同价值(NNACV)在当季度实现了环比翻倍,并获得了11个超过100万美元的订单,其中2个超过500万美元。此外,NowAssist的upselling效应十分明显,虽然它相比上一代平台ServiceNowPro提价30%,但依然十分受客户欢迎。

在ServiceNow发布的2024Q2的财报中,公司在Q2的收入达到26.27亿美元,同比增长22%,超出预期2700万美元,其中,订阅收入为25.4亿美元,同比增长23%,超出预期1000万美元。

03.

对谈ServiceNow

对谈嘉宾

Kewei:

ServiceNowStaffEngineer,专注于AI搜索服务开发,在加入ServiceNow之前任职于Salesforce负责商品搜索API开发,拥有丰富的行业经验和技术背景。

**嘉宾分享内容为其个人技术和行业洞察,不涉及其所属公司的业务立场及观点

ServiceNow的AI策略

Q:

Kewei在公司工作的这几年整体体验如何?你觉得ServiceNow能做到这么好,最重要的竞争优势是什么?

我不是从事业务运营方面的,所以我只能从个人体验上去理解。我觉得ServiceNow的竞争优势主要有三个。第一是ServiceNow的产品,它提供了一个非常全面的解决方案,这样就能满足大企业很多的业务需求,同时ServiceNow的产品能够高度地定制化和自动化,这点对大企业来说非常重要,而且覆盖面也很广。这样企业降本增效的效果就会非常明显。

第二,美国SaaS企业中非常重要的就是信用,因为ServiceNow起步非常早,到现在已经20多年了,它在这段时间里积累了很好的信用,这对面向大企业的SaaS公司来说非常重要,

因为大企业客户更希望能跟自己信得过的企业合作,也愿意花更多的资本来跟这些公司合作。

第三可能就是服务,ServiceNow提供专业的支持和服务团队,并且非常注重安全性、合规性和可靠性,虽然可能在用户体验方面这些因素并不是非常重要,但是ServiceNow在这方面做得也比较好。

对大企业客户来说,信任和安全确实非常重要。您刚才也提到第一重要的还是产品,从产品角度,不管是开发、设计,还是理念上,ServiceNow有什么比较大的竞争优势?

ServiceNow的产品在设计上非常简单,因为所有的东西都是以表格为基础,这点放在usecase上会非常简单,用户有任何需求,都可以先创建一个表格,这样就可以和企业内部运营更好地关联起来,后续的一切都在这个表格的基础上操作。

如果需要定制或者是别的新业务,都可以通过这个方面来实现。不仅非常直观,还能减少沟通上的一些障碍。

定制化的软件通常的交付的过程会比较重,或者每一个订单可能都是比较customized的,但ServiceNow在定制化和产品的可组合方面平衡得比较好,不知道你们有没有什么特别的经验和观点?

这是我们引以为傲的工作流系统,从设计上来讲,以表格为基础,并以工作流作为底层的引擎来驱动自动化和定制的需求,这样在实现和用户使用体验上就会好很多,也会快很多。

ServiceNow在GenAI的投入一直很积极,现在整个ServiceNow对AI的战略大概是什么样的?主要会在哪些板块去做AI?

公司高层对AI相当兴奋,在投资者开发大会上也提过,公司对AI的投入比重非常大,基本上是allin。相对于别的公司,AI其实可以和ServiceNow现有的产品有机地整合在一起,这是很明显的特性,ServiceNow在ChatGPT火之前已经积累了很多AI的基础,可以说已经修炼了很久,所以现在相当于时机成熟了,相对于别的公司而言,ServiceNow能够更快地把AIadopt到产品里面。

在战略上面,公司会从这五个方面来实现:

第一,自动化方面,把工作流系统与LLM结合在一起,变得更智能,智能可以体现在工作流的设计或者生成上,以及与外部的整合上。

第二,更多的数字化,把一些之前需要手动的功能实现自动化,并整合到ServiceNow的NowAssist里,这可以更好地提升效率。

第三,在知识库方面,通过企业搜索把所有的知识整合在一起,在这个基础上利用Assist与外部的应用整合。传统的知识搜索要先搜索找到想要的结果,再进行下一步,然后根据内容中提供的指令去做。现在可以把这些全部整合起来,搜索以后直接就可以执行要做的事情,这可以极大地提高效率。

第四,在隐私保护和安全性上,现在AI在这方面还是比较欠缺的,如果ServiceNow可以做好这方面,就可以更好地吸引大企业客户。

第五,在实现策略上,这点比较好的是ServiceNow没有用传统的大模型,而是针对不同场景开发了很多小而精的高度定制模型。比如生成工作流是一个模型,生成文本是一个模型,生成代码又是另外一个模型,这些都是ServiceNow自己开发、并运行在自己的硬件上的,这对那些注重安全性和隐秘性的公司就很有吸引力。

客户对刚刚提到的这五个方面产品的实际反馈是怎么样的?在这个过程中客户最在意什么?

客户的整体反馈还是很好的,因为毕竟相对于之前的AI/MachineLearning功能,LLM提供的体验和精确度完全不一样,是全新水平的体验。但是我觉得企业客户采用新技术会比较保守,他们会试用、观察、不停地考虑,所以他们采用的速度会比较慢,不过目前整体来看趋势还是很好的。

我们最近观察到一个趋势是:很多企业实际上可能并不一定需要用SOTA模型来解决实际业务中的需求,而是选择用特定的小模型来做任务,ServiceNow为企业客户提供的服务涉及到小模型的训练,以及结合客户实际的usecase做模型fine-tuning这类内容

吗?

涉及到模型ServiceNow有很多种方案,但总的来讲有三个:

•第一,可能有一部分客户的需求还是用OpenAI的模型,在这种情况下,我们是通过API的方式把数据文本发给GPT;

•第二,用ServiceNow自己的模型,目前通用的是NowLLM,但是还会有一些别的应用的模型;

•第三,我们接下来会推出BYOM(Bringyourownmodel),客户可以选择用自己的模型,通过API的方式整合到ServiceNow的系统里。

比如如果有企业考虑到用ServiceNow或者其他模型公司的模型都有可能把数据分享出去,所以就选择自己训模型,但在实际使用中还是要把自己训的模型和具体产品、设备、工作流耦合,BYOM的方式就是作这样的整合,非常灵活。

在第二类情况中,ServiceNow的模型是从头训的,还是说用开源的模型fine-tuning实现的?

一般都是会用开源的模型,但是会比较有针对性、比较小巧,不会采用很大的模型。一方面是成本的考虑,另一方面是性能、效率的考虑,毕竟现在算力还是比较有限的。虽然ServiceNow从与Nvidia的合作中获得了一些显卡,但在使用上还说很节约的,所以训练小模型的话,一个显卡可以同时支持好几个模型、好几个客户,在成本上会比较优化一些,但也会基于开源的模型进行fine-tuning,把自己的Gen-AI数据放进去。

在你们的观察中,企业客户目前用AI、并且用的比较好的usecase主要是在哪些场景?

第一个目前比较成熟的就是summarization,利用LLM来总结。

ServiceNow最大的一个产品是ITSM,ITSM相当于ticket系统,客户有问题时就会创建一个ticket、或者一个case,如果这个case比较复杂,一个case界面可能会洋洋洒洒好几页、有好几百个记录更新,涉及到好几个月。如果后面问题解决了,要总结这个界面,一个人读那么多内容再总结会非常费时间,summarization就可以提供一个总结的功能,把这个case的一些问题、解决方案全部总结出来,这样后面如果要去参考会比较快。所以summarization是针对ServiceNow非常好的一个usecase,当然,summarization也是目前Gen-AI比较通用的一个使用场景,可以用在很多地方。

另外一个就是和chatbot对话Q&A,这其实也是NowAssist的基础功能,相比于之前类似的功能,NowAssist的Q&A可以提供更好的使用体验,不但可以给出结果,还可以直接帮用户咨询很多action,然后直接执行。

其次是内容生成,比如用户在创建ticket的时候,可以把一些繁琐的步骤全部自动化掉。之前有一个demo就是在生成内容的时候,输入一些基本的东西,NowAssist就会把基本的内容全部填完,同时写好一份summary,非常方便。

最后,我觉得比较好的一点就是工作流的生成,用户可以写一段文字,然后由AI自动生成工作流。后续的产品会更加先进,比如用户在白板上画了一个之前在会议上讨论的工作流,可以拍照上传,由AI直接生成一个工作流,这会是更进一步的优化。

这些是我觉得目前使用的一些契合度比较高的场景,接下来也会有一些新的场景,但更多是businessintelligence方向上的,用户可以直接向NowAssists提问来获得更多数据的insight,这可能会间接替代一些商业决策中dataanalysis的工作。

除了文本任务之外,workflow相关的功能也已经比较成熟了,因为企业内部有很多数据,所以也可以利用之前workflow的数据来训练一个基于workflow的模型,这个是NowAssist的一个优势,但BI方面现在还在开发中。

NowAssist是ServiceNow的AI产品,也是历史上增长最快的一个产品,而且很有意思的一点是:就算NowAssist提价30%,客户似乎也愿意接受。这个产品对客户最主要的价值是什么?为什么它能有这么快的一个增长?

这个产品比较大,涉及到好几个组。但因为我不是从最上面往下看的角色,所以我也只能分享我这边接触到的一些东西。

我个人的理解是:第一,NowAssist可以非常好地整合到之前的一些操作流程中,所以从客户角度来说,他们不需要另外花很多资源去培训、学习这个功能,与Copilot有点像,但是可能会更好,很多时候其实或多或少已经整合到系统中去了。比如用户去看一个KB(KnowledgeBase)文档,可能就会提示用户点一下,就可以自动总结出要点,后面还会有一个按钮,相当于触发了Q&A的模式,这样的话学习的成本就会很低,很多企业都会愿意去试用或者使用,因为效果非常好,而且他们已经不需要再花钱培训了,所以可能自然而然地就会想要使用这个产品。

另外,虽然NowLLM没有达到100%的智能,但是它现在至少可以达到70%-80%的智能程度,这已经非常不错了。

NowAssist底层用的模型是什么?

是我们自己训练的模型,NowLLM的模型会负责一些文本上的操作,底层是Q&A的模式,是通过企业内部AI搜索来实现,另外就是一个非常复杂的自然语言处理的embedding模型,这个模型比较关键,因为它会直接影响到问答的效果,以及最终结果。

如果客户愿意接受提价,那你们认为对客户会怎么衡量产品给他带来的ROI?

我觉得效率的提升这点是最直接的。客户衡量的角度包括,一个case的处理时间,或者一个用户在搜索时得到结果不符情况下花的时间和成本,还有问答本身。从时间上来考虑,这个产品节省的时间可能相对于担负的成本会更多。

企业搜索

你在ServiceNow内比较专注AI搜索相关的产品,企业内搜索也是今年大家特别关注的话题,ServiceNow是怎么理解企业搜索的?

ToB的企业搜索和传统的文本搜索不同。

首先,是如何重塑软件公司的?|投什么ToB的内容更加多样,除纯文本外,还包括更多结构化的文档,比如office的PDF、Outlook邮件、Confluence和SharePoint,这不同于谷歌索引的那种传统的网页内容,所以它实现的方式也不太一样。传统的企业搜索效果不是特别好,就是因为这些文档越来越大,所以索引的效果或者收录的效果都会比较差或者比较慢,而且占用的资源也比较多。

但我认为GenAI图片在语义搜索、自然语言处理方面,为企业搜索提供了一个新的平台,如果可以利用GenAI模型来理解自然语言,在了解语义和生成结果方面的效果会非常好。

如果再把这个技术用得更抽象一点,相当于把企业搜索引擎进化成一个底层的Vector的搜索引擎,还可以利用这个底层的引擎开发更多基于GenAI的应用,这也是现在我们公司内部正在实现的一个事情,慢慢地把这个东西抽象出来,变成一个更通用的、可以整合LLM的工具。

从产品和技术的角度,你们感觉做好企业搜索的难点主要在哪里?

难点有两个,一是语言模型,也就是对自然语言的理解,以及对结构型文档的匹配,如果一个语言模型不太精确,结果也不会很精确,这一点是我们目前重点在解决的。

另一个是性能,因为模型本身做embedding生成向量比较慢,后期再去调用LLM、API或者OpenAIAPI来生成一个满意的summarization也比较费时间,整体的搜索时间也会比之前的久,用户体验上可能也不会像传统谷歌的文本搜索一样快。

我们也看到企业搜索是不少创业团队选择的方向,包括Glean、Hebbia等等,其中有些也积累了不少企业客户,从你们的角度来看,创业公司相比于ServiceNow这样比较有积累的公司,分别都有什么优劣势?

我个人理解,创业公司因为比较灵活,可以非常快地迭代或者开发产品功能,用户体验也会比较好,因为它的产品足够新,相当于是重新设计的,做一些改动或者变化会非常简捷。但劣势首先是信用方面,也就是品牌认知度,作为初创企业要吸引大企业会比较困难,第二则是在资源方面,因为资源有限,在市场推广、营销、客户支持方面,尤其是在售后支持,如果要吸引大企业,这方面也需要比较大的投资。

老牌企业相对来说资源会比较丰富,信用、品牌认知度也比较有积累,而且客户积累也是相当关键的优势。如果客户之前已经部署过安装了ServiceNow的系统,那他们肯定会优先考虑用ServiceNow的一些功能,这样就可以直接整合到他们的日常操作中来。

因为ServiceNow的产品本身比较复杂,如果要采用,员工需要进行一定的培训,只有培训成熟,才能保证后续的使用效率。其实不管是Salesforce,还是ServiceNow,我个人觉得都不是很好用,员工能够直接上手使用的可能性比较小,因为一些传统软件基本的功能比较庞大,所以前期一旦要采用,肯定要花一些时间去培训公司的员工,但是这个培训不仅仅局限于AI功能,之前几十年积累起来的一些软件功能也需要培训。

所以如果客户前面已经投入了很多培训或者学习,那他们一般不会轻易去换一个新的产品或者公司。

但大企业相对于初创团队最大的问题就是行动比较慢,在开发新产品或者调整策略方面也会比较慢,这也是为什么目前Glean能够快速占领一部分企业市场的原因,而ServiceNow在开发、推出新产品、新功能方面相对来说就会比较慢。但其实从今年开始,由于AI的紧迫性,我们也在快速地推出产品,所以现在变成了一年4次,一般每三个月就会有一个新的release。

ServiceNow的AI搜索最新的进展如何?

这个AI搜索已经是GA(GenerallyAvailable)的状态了,现在用户在ServiceNowApp里面点击搜索图标去做搜索的话,后台其实都是通过AI进行的,如果在NowAssist问问题,后台其实也是经过AI搜索完成的,但这两个场景后面其实是不同的configuration。一个可能是传统的企业搜索外加整合LLM来提供一个结果的summarization,另一个是企业搜索跟skill的定义整合起来后,直接调用相关的工作流。AI搜索其实类似于一个端口,相当于一个入口,后面再根据定义定制、调用相关的结果或者相关的APP。

ServiceNow搜索和像ElasticSearch这类产品之间的关系是什么?可以理解为Elastic是后端引擎,ServiceNow是前端和整个应用端的wrapper吗?

可以,因为ServiceNow搜索的底层还是用的是Lucene,Elasticsearch的底层其实也差不多,在底层库的应用上来构建搜索的应用,并进一步构建了搜索引擎。ServiceNow之所以没有用Elasticsearch,是因为Elasticsearch控制性不够,不能完全满足ServiceNow高度定制的需求,所以它相当于收购了之前的一个AI搜索公司,它的优势是它完全是自主研发的,它的Lucene引擎也是自己定制的,所以可以实现各种需求。

现在的一些语义搜索也是直接在底层Lucene上实现的,而不是在Elasticsearch上实现的,这样可以非常灵活地选用模型来计算Vector,或者在哪一步索引的时候实现安全性,加权限也非常的灵活。Elasticsearch目前也有企业搜索,但主要适用于定制性不是很多的中小企业。如果要完全掌控自己的搜索引擎还得自己研发。

计算Vector是另外的模型,或者是用GTR,或者是用E5,看你用哪个语言模型。Vector搜索是传统的KNN(K-NearestNeighbor)算法,这个比较通用、也比较成熟。如果对等路径一样,可以通过把两个Vector做一些计算来获得一些match。

因为企业用户对于搜索要求的准确度要求要比ToC端更高,ServiceNow是如何在AI搜索的结果上规避幻觉问题、提高搜索结果的?

目前来讲,搜索结果只能用内部的一个Q组来测试,通过测试和调整来验证,基本上可以达到某个指标,不过不可能做到100%精确,但可能会达到80%、90%的效果。客户其实会有一定的预期,但是他们不会有100%的预期。我个人感觉除非持续地出现一些问题,他们才会反馈,如果只是偶尔出现一些幻觉,他们应该不会太在意。但客观来说,我接触到的也不是特别多,我感觉前期出现过一些反馈,我们及时调整了之后,现在已经好多了。

企业搜索的实现中是如何平衡类似于员工数据这类datagovernance问题的?

我们提供了一个非常强大的配置功能可以对每一个文档或者每一个文件数据源设置权限,哪些usergroup的人可以看这些文档。其实很多这些元数据是用户传进去的,传进去之后,比如你是属于groupA,如果某些文档明确限制groupA的人不能看,那你其实是搜不到,如果那些内容不会返回,也就不会体现在最后的结果里。

Agent也是生产力场景下很受关注的一个领域,这个概念背后的期待是:LLM除了理解文本、回答问题,还能相对自主地、并有一定推理能力地去帮助用户处理一些复杂的任务。ServiceNow本身就是围绕企业workflow中的各类任务展开的,从你的角度来看,随着AIAgent的发展,ServiceNow会受益还是受损?

我个人觉得是受益的,因为我觉得它们是可以整合在一起的,它们生成的一些action可以用工作流去实现。因为从内部的实现角度来讲,相当于是一个一个的skill,训练了一个模型,并给了它很多技能,这个技能其实就是用工作流去实现的,这样用Agent的时候,AIAgent就会通过后台返回一些它会的技能,这个技能可以通过事先制定好的工作流去执行,这样就会非常的自动化和智能。

而且其实这些目前NowAssist已经实现了。根据用户问的问题,NowAssist会提供一些选项,让用户去执行一些要求。

举个例子,我们可以在NowAssist的Q&A中先询问公司的PTO(带薪休假)政策是什么,它首先会把结果总结给你,而不是像之前那样提供几条知识库链接,除此之外,NowAssist的Q&A还会提供再一个选项,例如“申请PTO”或者其他相关动作?如果点击了“申请PTO”的按钮,那么后台就会自动执行这个工作流,直接帮员工完成请假,或者更进一步让员工先选定时间,再去自动申请PTO,这些其实已经全部整合在NowAssist里了。

在企业搜索中,针对企业有大量的结构化数据,当然也有一些非结构化的数据,也许这些数据在不同的API里,调用的时候要花一点时间,但如果用LLM为基础来做搜索,是不是会比在完全广阔空间中搜索更容易、更可靠?

目前来讲,LLM在企业搜索场景中,其实和我们直接向ChatGPT提问这种搜索是不一样的,这样的效率会比较低,成本也会比较高。

目前做企业搜索的公司,比如说Glean,他们做大模型可能只是做最后的总结体验,前面的搜索还是传统的基于搜索引擎或者基于Lucene,或者基于别的Vector的一些搜索引擎来做的,他们可能会用语义搜索来获得5-10个比较好的候选文档,然后把这些文档送给大模型来提炼出一个比较好的答案,这是目前的实现方式。

因为目前会受到算力或者成本的限制,所以这个路径对企业采用大模型是一个比较优化的方案,但是最后提炼结果的效果还是比较好的,相对于传统的搜索引擎来讲,已经是一个比较大的提升了。

理论上由于企业搜索面临的数据量更加有限,如果对企业积累的这些数据做处理,相对来说会比较容易,那么它是不是应该在算力、成本、包括结果返回时间和幻觉上,有更好的表现?

因为企业内部的文档数据量其实很大,虽然不能跟Google这种通用搜索引擎的的数据量来比,但如果就内部时间而言,需要的硬件资源也很多。如果要在这个基础上来训练大模型,成本确实还是很高的。

以目前的条件来讲,我们一些客户内部的KB文档可能就有好几个T的存储量,如果现在就token数量去给OpenAI或者自己训练一个模型,成本还是很高的。另外,有些企业可能还会需要一些别的定制,比如有些公司是法律文档,里面的修改要求很高,这些如果用大模型可能就会不太好。

**本文仅作为科普分享及学习资料,不构成任何投资建议或金融产品推荐,并且及不应被视为邀约、招揽、邀请、建议买卖任何投资产品或投资决策之依据,文中所涉及的分析、观点及结论均为作者基于公开信息的研究和主观判断,不代表任何投资机构或金融机构的官方立场,亦不应被诠释为专业意见。投资有风险,入市需谨慎。**

排版:Doro

免责声明:本网站部分内容由用户自行上传,若侵犯了您的权益,请联系我们处理,谢谢!联系QQ:无敌椰子

分享:

扫一扫在手机阅读、分享本文