2023-8-5 9:35
#3 强烈推荐:大白话聊 ChatGPT
前言当人工智能可以如此流畅地使用语言和我们对话时,一个科幻预言正在成为现实。OpenAI推出的 ChatGPT,利用大规模语言模型和深度学习技术,实现了前所未有的人机语言交互效果。这是否标志着人工智能已经具备了“意识”?它将如何改变我们的世界?知名技术专家王建硕与主持人针对ChatGPT的科技内涵及社会影响进行了深入探讨。他们从语言模型的训练方法、工作机制,到 ChatGPT背后的商业逻辑,再到人工智能教育等多个维度,为我们全面解析这场人机交互的革命带来的启示。王建硕认为:ChatGPT开启了“语言用户界面”的新时代,其影响或许堪比1994年网页浏览器的发明。但它也有明显的局限,距离真正的通用人工智能还很遥远。更重要的是,我们应积极拥抱人工智能,而非被动地适应它。让我们一起来读读取这场对话中的见解,会给我们带来怎样的思考?也许你我都将成为见证历史的一分子。一、核心观点1. ChatGPT是一个产品化的大语言模型,使软件可以直接处理人类语言,开启了新时代的人机交互方式。2. 大语言模型参数更多、训练语料更全面,可以处理更多不同的语言任务,是自然语言处理的趋势。3. ChatGPT的生成就像先压缩再解码,会有信息损失和不确定性,这是其局限的技术原因。4. ChatGPT显示出一定的“涌现”能力,但距离真正的通用人工智能还有差距。5. ChatGPT对互联网的影响或将如1994年浏览器的出现,开启一个新领域。6. 中国有必要发展自己的大语言模型,不能错过这场技术变革的机遇。7. ChatGPT是语言模型,需与搜索引擎等互补,才能发挥最大价值。8. ChatGPT没有真正的意识或自我,但会给用户一种“有意识”的感觉。9. ChatGPT显示工程落地也同样重要,将技术做成产品推向大众。10. 普及AI的正确使用教育非常必要,避免技术被少数人垄断、加剧不平等。二、精华摘要ChatGPT 首先是一个产品,其次才是一个大语言模型ChatGPT首先是一个产品,然后才是一个语言模型。它是OpenAI推出的GPT系列模型中的一员,通过在GPT-3基础上进行针对对话的优化训练而成。可以看作是一个将人类语言作为输入,并产生相关语言输出的专家系统。自然语言处理NLP的两大分支:大语言模型VS特定语言模型自然语言处理NLP有两种主要方法:大语言模型与特定语言模型。特定语言模型针对具体任务效果较好但适用范围窄;大语言模型参数更多、语料更全面,可以处理更多不同任务,适用范围更广。ChatGPT属于大语言模型。GPT-3.5中的3.5编号是怎么来的?GPT-3.5的3.5表示它是在GPT-3基础上进行聊天微调优化的新版本,而不是全新训练的模型。OpenAI正在开发参数量将是GPT-3 600倍的GPT-4,而ChatGPT是GPT-3之后的一个迭代,所以编号为3.5。ChatGPT中的G、P、T三个字母及微调的含义G代表生成式模型,P代表预训练,T代表Transformer。微调是在预训练基础上使用特定数据进行的进一步训练,这种预训练+微调模式大幅降低了训练成本。特德·姜的文章比喻:ChatGPT是人类知识模糊的JPG图片该比喻生动地解释了ChatGPT的生成过程:先压缩文本到小向量,再解码扩充,此过程中信息损失,需要增添新信息,结果不可避免有“模糊”的错误。就像先压缩再解压JPG图片,与原图有差异。这种比喻很好地解释了ChatGPT生成时的问题原因。人工智能幻觉是怎么产生的,需要规避吗?ChatGPT会产生两种“幻觉”:一种是没有根据就胡说八道;另一种是在解码时需要增添新信息产生的“模糊”。前者可以要求其回答时引用依据,后者是其工作原理所致,无需规避。重要的是知道如何正确使用这个工具。为什么ChatGPT是数学很差的文科生? 它在做的是文字补全/文字接龙ChatGPT是大语言模型,只进行文字的预测和补全,并没有真正理解数学概念和公式推导,所以在数学上表现很差,只能对简单计算进行形式操作。这与其只训练语言能力,而非真正逻辑思维能力有关。近两年大语言模型的突破性进展:涌现、思考链路,但依然算不上通用人工智能近年大模型在某些方面出现了惊人的“涌现”能力和形成某种“思考链路”的迹象,但仍只是语言模型,没有超出训练范围,难以达到真正通用人工智能的灵活智能。ChatGPT开启了自然语言人机交互新纪元,但依然有差距。建硕经历的四次历史上的惊叹时刻,其中浏览器时刻与ChatGPT时刻极为相似建硕分享了他的四个历史性的技术惊叹时刻:1)1994年浏览器出现 2)Google出现 3)iPhone出现 4)ChatGPT出现。其中浏览器和ChatGPT给他带来的震撼体验最为相似。Web3目前还相当于互联网的1979年,虽改变人类世界的能力,但还未到火候,在行业里等待可能是危险的Web3仍处于早期,像1979年的互联网,改变世界潜力巨大但尚未成熟。若在行业内等待其成熟而不积极尝试,可能错失机遇。应像对浏览器时那样,及早尝试使用ChatGPT等新技术。中国有必要再做一个类似ChatGPT的大语言模型吗?建硕认为中国有必要再做一个类似ChatGPT的大语言模型,这是大概率事件,尽管短期内不太可能达到ChatGPT的效果,但可以推动自然语言处理技术进步。中国参与这个竞争十分必要,不能错过机遇。ChatGPT与搜索引擎的关系ChatGPT是语言模型,很难取代包含大量知识的搜索引擎。两者可互补:搜索引擎提供信息,ChatGPT理解问题并产生语言响应。ChatGPT本身更适合作为一个工具使用。ChatGPT有没有自我/意识/人格?ChatGPT没有真正的自我意识或人格,它只是预测文本的语言模型。但在深入交互时,会给用户一种“有意识”的感觉。这源自用户的主观臆想,并非ChatGPT真正有意识。区分这两者是理解ChatGPT的关键。杨立昆教授评价ChatGPT技术创新有限,但工程实现优秀杨立昆认为ChatGPT没有新的科学突破,所用技术大多来源于既有研究,但在工程实现上做得非常出色,将这些技术组合应用,做成可供大众使用的产品。这显示工程落地对技术应用同样重要。ChatGPT可被应用的领域有哪些?ChatGPT的应用领域很广泛,几乎任何依赖语言交互的领域都可以应用,如客服、培训、写作、创作等。它使软件可以直接理解人类语言指令,不再需要通过GUI,将推动语言交互进入新阶段。基于同一套GPT模型API开发的产品,如何进行产品差异化和构建竞争壁垒?不能仅依赖GPT模型本身,而要构建额外的知识库、业务逻辑等。将GPT模型视为工具,自身提供核心价值。还可以建立用户粘性,提供更人性化的交互体验。区别于只提供GI的应用。ChatGPT这一次浪潮,价值捕获最终会落在何处?短期内云服务提供商可获利最大,但长远看应用开发者获得价值更大。类似早期互联网规模盈利主要在浏览器,但最终落到应用和平台。ChatGPT是基础工具,真正价值在于使用它的应用创新。国内外创业者在ChatGPT方面的时间差异?国外先发优势明显,但门已开启,中国可迅速跟进。短期内应掌握工具使用,理解用户需求,积累经验。中长期可补足关键技术,依托大量应用场景优势取得进展。时间差异为中国提供机遇。ChatGPT会让人失业吗?ChatGPT提升生产效率,短期内某些工作可被取代,但长远来看会创造新的就业机会。类似历史上每次科技进步,都存在担心和不适应,但结果是创造新的增长点。重点是积极掌握新技术带来的机遇。会用AI和不会用AI的人之间会形成更大的不公平吗?如果把AI视为专业工具,跟会用Excel和不会用仅存在程度差异,不会导致严重不公平。但如果AI技术被少数人垄断,才可能导致对其他群体不公。因此普及AI教育和访问等对缓解不公平至关重要。ChatGPT生成的内容应该受版权保护吗?这涉及全新领域,尚无定论。合理的态度是 Generates content不应声称拥有原创作品的版权,但他人也无权直接声明其作品属于公共领域。需要相关法律进一步明确界定。ChatGPT背后的语料是否可能涉及侵犯隐私或非授权的数据爬取?ChatGPT本身不涉及隐私侵权或非授权爬取数据。其训练语料来源清晰,主要是公开的数据集。但是基于ChatGPT开发的应用,如果涉及利用用户数据,则其开发者需要遵守相关数据规范。未来互联网会不会充斥着AI生成了大量同质化或平均水平的语料?这是可能的风险,但也可以通过增加训练语料的多样性、建立检索真伪的辅助系统等方式加以规避。重点是积极主动地使用AI等新技术,而不是被动地适应它带来的负面效应。ChatGPT不仅不会像抖音算法那样割裂世界,反而给人类世界大同的可能性ChatGPT训练是词向量加权平均,把互联网内容编织在一起,相对屏蔽个性化偏好。这有助形成共识,而非像抖音等算法强化信息茧房。但它也可能形成主流语料的“Political correctness”,需要保持理性的辩证看待。AI教育的重要性,以及建硕在实践中的瀛海威互联网分享精神普及AI的正确使用方法和BADucation非常重要。建硕本身도坚持以分享的精神回馈社会。瀛海威当年免费开放上网资源,启发了一代人。现在也在向开发者开放免费的ChatGPT使用额度,以助力更多创新应用的产生。三、播客链接前往收听四、扩展知识特德·姜:ChatGPT是网上所有文本的模糊图像