Разрабы, которые кодят с AI, кодят медленнее...

Недавно мой пузырь облетело исследование, которые процитировали уважение мною спикеры (кирилик, Самат) с выводами из заголовка. Ещё друзья в личку закинули, и в чатике вастрика. Многие цитировавшие сильно опытнее меня в разработке, но прочитав исследования у меня появилось много вопросов к его применимости.

Спойлер, считаю исследование фигней.

Для меня несколько странно как все быстро в него поверили. Поэтому считаю важным разобрать.

Чтож, какие у нас есть факты: 1️⃣ 16 разработчиков, 246 реальных задач (≈ 15 задач на человека) — средняя длительность 2ч. Пару аномальных участника сместят результат, да и в целом мало, хотя такое может быть стат. значимо

2️⃣ Работали над специфичными репозиториями. Средний опыт с репозиторием 5 лет, ≈ 1 500 коммитов. Такой "Опыт" повышает скорость "ручной" работы.

3️⃣ Модели: Cursor Pro + Claude 3.5/3.7 Sonnet, февраль–июнь 2025. Это слабые, старые модели, Claude 4 уже на порядок мощнее и точнее. Старый Cursor так же плох по многим причинам.

4️⃣ 93 % ранее пользовались LLM, но только 44 % — Cursor. Вот это очень плохо. Утверждаю как активный юзер. Много специфики работы: промтирование, контекст, "навесы", особенности моделей в разные периоды, разные модели под разные задачи итд.

5️⃣ 44 % AI-генераций приняты. Вопрос "почему?", помимо причин выше, допускаю что "опытные разрабы" чаще хотят писать код как они привыкли, а не как хочет LLM, пусть даже он был бы корректным. Ну и просто, 3.5-3.7 слабы, тем более на больших контекстах.

Статье пол года, а оно уже на помойке истории как устаревшее. В этом году модели для кодинга каждые 3 месяца совершают ощутимый прорыв. Поэтому не очень понимаю нафига вообще это исследование и почему все его постят, обсуждают.

Корректен и применим только вывод об искажениях людей. Понимаю что и у меня их достаточно, и спасибо когда замечаете это. Если у вас есть какие иные данные, мысли, выводы - пишите, может я что не так понял.