RL4VLM

强化学习视觉-语言模型

★★★★ (0 评价)

更新时间：2024-06-05 07:40:41

RL4VLM的信息

什么是RL4VLM

RL4VLM是一个开源项目，通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。项目由多位研究人员共同开发，基于LLaVA模型，采用PPO算法进行微调。

提供修改版的LLaVA模型；原创的GymCards环境；RL4VLM代码库为GymCards和ALFWorld环境提供支持；详细的训练流程；两种不同的conda环境以适应不同需求；提供运行算法的指南和模板脚本。

研究人员可用RL4VLM微调模型以改进决策制定能力；开发者可利用代码库训练自定义的视觉-语言模型；教育机构可将RL4VLM作为教学案例，展示强化学习提升模型性能的方法。

RL4VLM评价

EVE 视觉-语言模型编码器自由 EVE是一个编码器自由的视觉-语言模型，由大连理工大学、北京人工

PixelProse 图像描述视觉-语言模型 PixelProse是一个由tomg-group-u

NVIDIA Project GR00T 人工智能机器人 NVIDIA Project GR00T

LeRobot 机器学习强化学习 LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能

DIAMOND 机器学习强化学习 DIAMOND（DIffusion As a Model Of

Nemotron-4-340B-Reward AI大型语言模型 Nemotron-4-340B-R

O1-CODER是一个旨在复制OpenAI O1模型的项目，专注于编程任务，通过强化学习和蒙特卡洛树搜索提升代码生成效率和逻辑性。

Unitree RL GYM是一个基于Unitree机器人的强化学习示例，支持多种机器人模型，包括Go2、H1、H1_2和G1，适合研究和开发者使用。