GPT-4o став лідером із програмування на Solidity

ШІ-модель GPT-4o від OpenAI набрала найвищий бал у рейтингу з програмування мовою Solidity, обійшовши o1-preview, o1-mini та конкурентів. Про це свідчать дані дослідження BrainDAO.

У п’ятірці лідерів:

• GPT-4o — 80,05 бала;
• o1-preview — 77,61;
• o1-mini — 75,08;
• Claude 3.5 — 74,88;
• Grok-2 — 74,64.

Для аналізу та складання рейтингу SolidityBench застосовували два бенчмарки NaïveJudge і HumanEval, розроблені для оцінювання та ранжування майстерності ШІ-моделей у генерації коду для смартконтрактів.

Код від нейромереж оцінювали на основі «суворих критеріїв» на кшталт реалізації ключових функцій, опрацювання крайніх випадків, роботи з помилками, правильного використання синтаксису, загальної структури та підтримність. Також аналізували ефективність використання газу та управління зберіганням.

Діапазон балів варіюється від 0 до 100, забезпечуючи комплексну оцінку функціональності, безпеки та ефективності.

Раніше Meta розробила ШІ-інструмент CodeCompose для генерації програмного коду.

Нагадаємо, у вересні Google випустила дві оновлені версії моделей Gemini 1.5, які продемонстрували поліпшення в роботі з мовами програмування.