标题： F2LLM 技术报告：使用 600 万开源数据达到 SOTA 嵌入性能 显示英文标题

标题： F2LLM Technical Report: Matching SOTA Embedding Performance with 6 Million Open-Source Data

摘要： 我们引入了F2LLM——从基础到特征的大语言模型，这是一套三种尺寸的最先进的嵌入模型：0.6B、1.7B和4B。 与之前排名靠前的嵌入模型不同，这些模型需要大量的对比预训练、复杂的训练流程和昂贵的合成训练数据，F2LLM则是直接在600万条查询-文档-负例元组上微调的基础模型，这些元组是从开源的非合成数据集中精心挑选的，实现了训练成本、模型大小和嵌入性能之间的强大平衡。 在MTEB英文排行榜上，F2LLM-4B在大约4B参数的模型中排名第二，在所有模型中排名第七，而F2LLM-1.7B在1B-2B尺寸范围内的模型中排名第一。 为了促进该领域的未来研究，我们发布了模型、训练数据集和代码，将F2LLM定位为未来工作的一个强大、可重复且经济的基线。 显示英文摘要

摘要： We introduce F2LLM - Foundation to Feature Large Language Models, a suite of state-of-the-art embedding models in three sizes: 0.6B, 1.7B, and 4B. Unlike previous top-ranking embedding models that require massive contrastive pretraining, sophisticated training pipelines, and costly synthetic training data, F2LLM is directly finetuned from foundation models on 6 million query-document-negative tuples curated from open-source, non-synthetic datasets, striking a strong balance between training cost, model size, and embedding performance. On the MTEB English leaderboard, F2LLM-4B ranks 2nd among models with approximately 4B parameters and 7th overall, while F2LLM-1.7B ranks 1st among models in the 1B-2B size range. To facilitate future research in the field, we release the models, training dataset, and code, positioning F2LLM as a strong, reproducible, and budget-friendly baseline for future works.