清华团队推出对话机器人 ChatGLM，支持在个人电脑上部署和调优

感谢指股网网友肖战割割、朝天骄、官方博客中提到，这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化。该模型基于GeneralLanguageModel（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。具体来说，ChatGLM-6B具备以下特点：充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。较低的部署门槛：FP16半精度下，ChatGLM-6B需要至少13GB的显存进行推理，结合模型量化技术，这一需求可以进一步降低到10GB（INT8）和6GB（INT4），使得ChatGLM-6B可以部署在消费级显卡上。更长的序列长度：相比GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。人类意图对齐训练：使用了监督微调（SupervisedFine-Tuning）、反馈自助（FeedbackBootstrap）、人类反馈强化学习（RLHF）等方式，使模型初具理解人类指令意图的能力。输出格式为markdown，方便展示。因此，ChatGLM-6B具备了一定条件下较好的对话与问答能力。当然，ChatGLM-6B也有相当多已知的局限和不足：模型容量较小：6B的小容量，决定了其相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，ChatGLM-6B可能会生成不正确的信息；她也不擅长逻辑类问题（如数学、编程）的解答。可能会产生有害说明或有偏见的内容：ChatGLM-6B只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。较弱的多轮对话能力：ChatGLM-6B的上下文理解能力还不够充分，在面对长答案生成，以及多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。英文能力不足：训练时使用的指示大部分都是中文的，只有一小部分指示是英文的。因此在使用英文指示时，回复的质量可能不如中文指示的回复，甚至与中文指示下的回复矛盾。易被误导：ChatGLM-6B的“自我认知”可能存在问题，很容易被误导并产生错误的言论。例如当前版本模型在被误导的情况下，会在自我认知上发生偏差。即使该模型经过了1万亿标识符（token）左右的双语预训练，并且进行了指令微调和人类反馈强化学习（RLHF），但是因为模型容量较小，所以在某些指示下可能会产生有误导性的内容。该团队称，一直在探索、尝试和努力，GLM系列模型取得了一丝进展，但离国际顶尖大模型研究和产品（比如OpenAI的ChatGPT及下一代GPT模型）都还有明显差距。中国大模型研究在原创算法、AI芯片和产业上的追赶与突破需要大家的一起努力，更需要我们对下一代AI人才的培养与锻炼。指股网附ChatGLM-6B的对话效果展示：