4 月 23 日消息，智元機器人發(fā)布并開源基于仿真功能的模型評測和驗證工具Genie Sim Benchmark，專注為具身 AI 模型提供性能測試和優(yōu)化支持。

　　智元機器人表示，作為 Genie Sim（智元仿真平臺）的開源評測版本，GenieSimBenchmark 是智元繼開源百萬真機數(shù)據(jù)集和海量仿真數(shù)據(jù)集后，又一里程碑式的開源項目。

　　Genie Sim 宣稱能夠還原機器人的操作環(huán)境，為多樣化任務提供標準化的自動評測體系，衡量模型在各種場景下的表現(xiàn)，加速算法迭代流程，同時減少模型評測對昂貴物理硬件的依賴，降低測試成本。

▲Genie Sim 仿真框架

　　Genie Sim Benchmark 建立了一套仿真基準和標準化評估體系，支持從基礎到高級的多樣化操作任務自動評測，本次開源十余個高難度多樣化的評測任務，所有代碼均已在 GitHub 完整開源。

　　開源倉庫不僅包含標準化的測試場景，支持用戶直接調(diào)用評測任務驗證算法性能，也支持開發(fā)者靈活定制。用戶可以基于 500 + 高保真物體資產(chǎn)庫快速搭建新場景，并通過評測體系自定義評測步驟和指標，為算法研發(fā)提供從快速驗證到精準評測的全流程支持，提升開發(fā)效率。