2023-3-25 7:3
【复现ChatGPT】复现ChatGPT的意义
这是本专栏AI落地专题的一个尝试，主要内容是复现ChatGPT。我会根据我的进度来更新文章，主要对象是对复现ChatGPT感兴趣的同学，非技术的同学可以忽略技术部分。为什么要写复现ChatGPT今天OpenAI发布自己的ChatGPT的插件系统，算是增强了自己作为AI领域头部公司的地位。现在作为一个又卖API又做平台的公司，OpenAI不断的在证明AGI其实不算远。前段时间百度发布的文心一言，我测试之后非常不满意，实现方法上有很大的问题，都是以前的搜索QA那一套来做的，没有任何脚踏实地的成果。 这种结果，可能发布会很快，但是质量非常差，多轮基本没有，文生图也多半是梗图。 我在即刻上下了一个结论，过不了多久百度会被甩出去很远。今年年底，质量上等同于GPT4的开源模型出来，而中文模型虽然效果肯定达不到ChatGPT,但是也会有巨大的进步。2023年，巨头开始卷多模态大模型和3D生成，中文社区则需要一个更好效果的中文ChatGPT模型。通过去复现一个ChatGPT，自己下场做技术储备，寻找更好的低成本的实现方式，也是一件可以去做的事，而且这也是避免自己焦虑的方法。我们应该怎么去复现ChatGPT第一步，成为资深使用者先把自己变成一个资深使用者，深刻认识到GPT的强大，这样你就会避免去做OpenAI已经做到的事情，而且也不会去做OpenAI懒得去做的事情。不断去测试模型，把自己变成prompt engineer，并且对GPT的很多缺点了然于胸。第二步，成为开发者熟悉OpenAI的所有API，熟读OpenAI Cookbook，了解其中的优化技巧。可以根据API开发自己的应用。除了API以外，你也需要熟悉整个LLM最新的技术，哪一些是趋势，包括熟悉整个LLM链路上的论文。熟悉围绕LLM生态建起来的第三方项目，他们解决了什么问题，使用他们去解决问题。知道哪些是OpenAI想做但是暂时没有做到的事情，什么时候可能会做到。第三步，成为创新者加强工程能力，目前是工业界领跑学术界，要做那些有价值的事情。 思考哪些事情是OpenAI很难做到的事情，未来可能会出现哪些技术，用来解决目前的问题。然后就是用你想的解决方案尝试去解决。当然，做这些是有一定门槛的。需要有一定的代码能力，也需要有阅读paper的英文水平，后面可能还需要有一定量的GPU，不过这些都可以解决。更重要的是，需要有时间来干这些事情，探索路上时间的投入成本也不算低，一起上路就快点。我们不要满足于复现ChatGPTAI相关的技术发展日新月异，ChatGPT也会过时。多想想真正的AGI是什么，我们能做什么，AI的奇点我认为还早，还有哪一些需求会被释放出来。 我们应该先做那些更有价值的事情，不要满足于复现ChatGPT。
