generative AI
感想
- Andrew讲LLM和监督神经网络区别在于LLM擅长处理非结构化数据，比如文章、音频、图片等，而监督神经网络擅长处理结构化数据。我觉得不太准确。监督神经网络在图片、音频、文章领域也有很好的表现，比如图片识别、语音识别等，如果有足够的数据集可供训练，相信在文章摘要等领域也可以有很好的表现。我觉得最大的差异在于LLM模型是多场景适应的，而监督神经网络一般是为单任务设计的，应用场景单一。
个人看法
- ChatGPT 局限
- 内容可靠性：生成式模型实现方式决定了 ChatGPT 存在最大的局限就是内容可靠性，比如会生成不存在的论文地址、生成伪造的历史故事等。当然即使是监督神经网络也不是完全准确，大多数商用神经网络可能也就90%多的准确率。只要能保证准确度在一定的范围内，应该还是可以接受的。
- 外部对系统的可控性：目前呈现出来唯一和系统交互的渠道是prompt，外部只能通道prompt诱导系统输出，对系统的干预很有限。最近 ChatGPT 推出里Function calling功能，展现了一定程度和外部交互的能力（这部分应该是通过边缘支撑系统实现的，比如诱导LLM输出中间产物调用服务的接口及参数，通过支撑系统实际调用服务再把结果反馈到LLM模型）
- 三方数据安全问题：目前三方调用需要把知识库以文本或者附件形式上传到 ChatGPT，这对于商业公司来讲有很大数据安全隐患。大多公司应该不会愿意把自己的核心数据上传到 ChatGPT。（关于这点我觉得比较理想的方式可能是大模型公司维护一个核心LLM模型，在模型的某一层级开一个接口允许外部数据输入，三方公司维护一个包含公司核心数据的小模型，把这个模型的输出结果接入到大模型公司的LLM模型中。随便畅想下）。
- 数据时效性问题：大模型的知识库受限于模型训练时的数据，最新数据始终是缺失的，这个问题几乎无解。像 bing ai 这种和搜索引擎结合应该是比较好获取最新信息的解决方式。
- ChatGPT 和 App Store
看网上有评论说 Chat GPT 好比当年的 App Store，以后会成为 AI 领域的应用商店。我觉得还有挺远一段距离。因为现在存在一个最大的问题，三方的插件说到底都是一段prompt外加一些数据，这些对于 Open AI 来讲都是透明的，因为你上传到了他的服务器。Open AI 随时可以做一个一样的替代掉三方（会不会这么做是另一回事）。App Store 不一样，上传上去的只是编译后的代码，Apple 公司也没法直接获取源码。而且对 App 来讲，前端只是一个展示的媒介，重要的后端服务并不在 Apple 手上，即使 Apple 拿到了 App 的源码也不会对三方公司造成威胁。这个问题不解决始终成不了 App Store。
generative AI