清华团队推出对话机器人ChatGLM 会中英双语 能问答对话

　　清华团队推出对话机器人ChatGLM 会中英双语 能问答对话

　　深圳商报讯 记者 涂竞玉

　　近日，在GPT-4发布的同一天，清华大学顶尖的NLP团队也公开了自研的类ChatGPT大模型——中英双语对话模型ChatGLM-6B，这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化。需要注意的是，目前ChatGLM每轮对话最多只可以进行5个来回，每次最多输入1000字。

　　据官方介绍，ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过监督微调等技术来实现与人类意图对齐。

　　ChatGLM官方博客中提到，该模型基于General Language Model(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。

　　具体来说，ChatGLM-6B具备充分的中英双语预训练、优化的模型架构和大小、较低的部署门槛、更长的序列长度、人类意图对齐训练等特点，因此，ChatGLM-6B 具备了一定条件下较好的对话与问答能力。与此同时，ChatGLM-6B也存在模型容量较小、可能会产生有害说明或有偏见的内容、较弱的多轮对话能力、英文能力不足、易被误导等缺陷。

　　问起它和ChatGPT的区别时，它表示：“我和ChatGPT都是基于人工智能技术的语言模型，但我们在设计和应用场景上有所不同。ChatGPT是由OpenAl开发的，旨在与人类进行对话的大规模语言模型，其应用场景主要是回答人类的问题或者提供信息；而我是清华大学KEG实验室和智谱AI公司于2023年共同训练的语言模型GLM-130B，主要用于中文问答、提供建议和支持等日常交互场景。”

　　该团队称，一直在探索、尝试和努力。虽然GLM系列模型取得了部分成绩，但距离国际顶尖大模型研究和产品(比如OpenAI的ChatGPT及下一代GPT模型)还有明显差距。“中国大模型研究在原创算法、AI芯片和产业上的追赶与突破，需要大家一起努力，更需要对下一代AI人才的培养与锻炼。”