GenAudit 事实核查LLM输出校正 vs LMSys聊天机器人竞技场排行榜

访问官网

什么是GenAudit

GenAudit是一个旨在帮助校验大型语言模型（LLM）在文档支持任务中的响应的工具。它可以建议对LLM响应进行编辑，通过修正或移除未被参考文档支持的声明，并且为看似有支持的事实提供参考证据。

1. 对LLM生成的文本进行事实核查；2. 修正或移除与参考文档不一致的声明；3. 为有支持的事实提供参考文档中的证据；4. 提供交互式用户界面以便于用户进行事实核查。
GenAudit通过训练模型执行核查任务，能够准确发现不一致的声明和提供支持的参考证据，提高了文本准确性和可信度。

1. 医疗领域的研究人员使用GenAudit校验由LLM生成的病历摘要；2. 金融分析师利用GenAudit确保由LLM提供的财务报告摘要的准确性；3. 编辑和作者使用GenAudit来提高他们出版物中事实内容的准确性。

帮助用户提高文本准确性、增加文档的可信度、避免错误信息传播。

目前仅局限于支持文档核查任务，且可能受限于特定领域的模型训练成果。

访问官网

LMSys聊天机器人竞技场排行榜是一个针对大型语言模型（LLM）性能评估的众包开放平台。利用Elo排名系统对LLM进行客观排名，依据超过30万用户投票结果。用户可在平台上与不同LLM进行互动，并根据对话质量投票。可用于追踪LLM发展趋势，为研究人员和开发者提供基准测试。

1. 利用Elo排名系统进行客观评估。2. 为用户提供与不同LLM进行互动的平台。3. 收集用户投票数据，以持续更新排行榜。
通过众包投票、Elo排名系统等方式，客观评估不同LLM的性能，为用户提供真实有效的排行榜，可追踪LLM发展趋势。

1. 研究人员和开发者评估和比较不同LLM的性能，追踪发展趋势。2. 企业选择最佳LLM用于开发聊天机器人或其他人工智能应用。3. 普通用户体验不同LLM功能，参与LLM性能评测。

1. 提供真实有效的LLM排行榜。2. 可追踪LLM发展趋势。3. 为研究人员、开发者和企业提供有用的性能评估工具。

依赖用户投票数据，排名结果可能受到个体主观因素的影响。