Janus-Pro是一个新颖的自回归框架，专注于统一多模态的理解与生成。它通过将视觉编码解耦为独立的路径，利用单一的统一变换器架构来处理信息，从而克服了以往模型在理解与生成过程中的矛盾。这种解耦不仅提升了模型的灵活性，也确保了更高的性能，使Janus-Pro在多模态任务中表现优异。
使用Janus-Pro非常简单。用户只需将输入图像和文本数据提供给模型，Janus-Pro会自动进行视觉理解和文本生成。具体的使用步骤和代码示例可以参考其官方GitHub仓库，便于用户快速上手。
Janus-Pro的使用和相关模型遵循MIT许可证，具体的使用条款可在其GitHub页面查阅。
DeepSeek AI
Twitter：@deepseekai，Instagram：@deepseekai
Phi-3.5-vision-instruct是一种轻量级、 state-of-the-art 的开源多模态模型，适用于文本和视觉任务。
Pixtral-Large-Instruct-2411是一款124B的多模态模型，基于Mistral Large 2构建，具备卓越的图像理解能力，能够处理文档、图表和自然图像，同时保持文本理解的领先水平。
