FlagOpen飞智 - 大模型基础软件开源系统

大模型基础软件开源系统

1.FlagAI

FlagAI是大型模型算法、模型，以及各种优化工具的一站式、高质量开源项目，集结全球各种主流大型模型算法技术，以及多种大型模型处理和训练加速技术，支持高效训练和强度，早在降低大型模型开发和应用的门槛，提高大型模型的开发效率。FlagAI涵盖多个领域明星模型，如语言大型模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。坚持开源开放路线，智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目开源至FlagAI。目前，FlagAI已经加入Linux基金会，吸引全球科研力量对大模型技术共同创新、共同贡献。

2.FlagVision

FlagVision是智能研究所视觉模型相关的开源项目集合，基于研究所自主研究的新型视觉模型技术，提供了当前最新的工具优性能的通用理解模型、通用船舶训练模型、通用布局模型、语言预制模型我们将持续研究通用视觉技术并坚持开源促进社区发展，加速实现通用视觉智能。

3.FlagPerf

AI硬件硬件技术栈对AI生态具有重要价值，但由于AI硬件技术栈达到了一定程度的兼容性差，应用场景复杂多变，给物业本带来了很大的帮助。这就带来了很多挑战。FlagPerf希望共同探索开源、开放、灵活、公正、客观的AI硬件测评体系，建立支持多种深度学习框架、主流模型测评需求、易于AI芯片厂插入底层支持工具AI系统体育生态。不以排名为核心目标，而是以提供价值行业、促进AI产品生态发展为愿景。目前该项目已和天数智能、百度PaddlePaddle、昆仑芯、中国移动等深度合作，共同推进AI硬件测评围绕FlagPerf，也将有更多厂商和团队加入共同贡献的大家庭。

4.FlagEval

大模型时代需要科学、公正、开放的数学基准及工具来帮助人们更深刻地理解和认识模型，但在学术界一直缺乏能力涵盖多种模态领域、多种评价维数的统一评价体系和项目尤其是在AIGC的发展浪潮下，如何对生成任务进行更高效、更深入的评价，是阻碍大模型落地的重要否定。智源研究院将联合多个高校团，共同打造服装盖多个模态领域、包含分数维度的分数工具FlagEval，探索大模型自动分数技术，推动大模型技术创新和产业应用。FlagEval首先开近期放出受关注的多模态领域-CLIP系列模型测评工具，支持多语言多任务、开箱即用。

5.FlagData

数据是人工智能领域发展的基础要素之一。随着大规模预训练模型及相关技术不断取得突破，在相应研究中运用高效数据处理工具提供提升数据质量日益重要。智源研究所长期投入数据建设工作，构建了全球最大的WuDaoCorpora语料库，同时高效开发了一批数据处理的工具。FlagData数据工具开源项目集成项目包含清洗、标记、压缩、统计分析等功能在内的多个数据处理工具与算法，为自然语言处理、计算机等领域的模型训练与部署提供了数据布局的队列支撑，有助于推动大模型的快速发展。

6.FlagStudio

FlagStudio是智源研究院应用文生图、文生音乐等人工智能模型支持艺术创作相关的开源项目集合，利用图文、声文等多模型，依托研究所在NLP和CV领域大型模型的研究基础，为艺术创作提供更加符合中文场景的人工智能开源算法和模型，使创作效率更加高效，创作空间更加开阔，创作成结果更加细腻。当时主要提供与生图相关的能力。

7.FlagBoot

FlagBoot是基于Scala开发的轻量级高并发微服务框架。FlagBoot框架是默认完全异步的，微服务处理任何一个API都是完全异质的步骤执行的，FlagBoot帮助开发者对异步骤线控制进行了性能良好的系统一管理。FlagBoot中没有宏、隐式转换等晦涩难懂的代码，加上上FlagBoot的代码量极少，这使得开发者能够很容易地了解Flag Boot的递编，并进行自定义的修改。