ModernBERT是一个全新的编码器模型系列,旨在取代传统的BERT模型。它在速度、准确性和上下文长度上均有显著提升,支持长达8192个标记的输入,适用于多种自然语言处理任务,如分类、检索和问答。
使用ModernBERT非常简单。首先,您可以通过Transformers库加载模型。只需安装Transformers并使用AutoModelForMaskedLM进行加载,您就可以利用其强大的填充掩码功能。对于下游任务,如分类或检索,您只需按标准BERT的微调方法进行训练即可。
ModernBERT的定价信息尚未公开,用户可关注未来的官方发布。
Answer.AI
Twitter:@AnswerAI,Instagram:@AnswerAI