OpenAI 发布了一项名为 GeneBench-Pro 的新评估工具，旨在衡量人工智能模型在生物学计算领域的实际能力。与以往侧重于模型记忆能力或固定流程执行能力的测试不同，GeneBench-Pro 更注重模型在复杂、真实的科研情境下的应用价值，要求模型处理模糊、不完整甚至带有干扰信息的数据，并据此进行判断和分析。
该基准测试涵盖基因组学、定量生物学和转化医学等多个前沿领域，总计包含 129 道题目。这些题目被划分为 10 个主要类别和 21 个子类别，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等广泛内容。每道题都为模型提供了一个模拟真实科研环境的数据集，附带简要的实验背景介绍和一个与后续决策相关的目标问题。模型需要独立完成数据探索、分析方法选择，并在过程中不断调整策略，最终给出解决方案。
为了克服传统长流程基准测试中常见的评分不准确问题，OpenAI 在设计 GeneBench-Pro 时采用了合成数据作为核心。这是因为使用历史真实数据出题时，往往存在多种可行的分析路径，可能导致模型即使采用了错误的方法也能偶然得到正确答案。通过使用合成数据，OpenAI 能够完全掌控数据的底层因果结构和生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅“绕过”了难题，就像在分析足球世界杯的赛况一样，需要理解深层逻辑而非表面数据。
目前，OpenAI 已在 Hugging Face 上公开了 10 道具有代表性的 GeneBench-Pro 示例题目，并提供了一个交互式界面供外部研究人员试用。未来，官方计划向 Artificial Analysis 开放其中 50 道题目，以便进行独立的第三方评测，验证不同模型在这一基准测试中的实际表现。
