Дослідження та докази
Комплексна система управління проєктами (TPM)
Дослідження показують як користь ШІ, так і ризики його використання. Важливі завдання, робочий процес і оцінювання результатів.
Переглянути дослідження ↓
Brynjolfsson, Li & Raymond · The Quarterly Journal of Economics
Серед 5 172 працівників підтримки доступ до ШІ збільшив кількість вирішених звернень за годину в середньому на 15%. Ефект залежав від досвіду; дослідження також виявило ознаки навчання.
Одна компанія й один вид роботи. Ці результати не підтверджують ефект TPM.
Читати першоджерело ↗
Lee et al. · CHI · Microsoft Research / CMU
В опитуванні 319 працівників розумової праці більша впевненість у генеративному ШІ була пов’язана з меншими зусиллями критичного мислення за їхньою власною оцінкою.
Самооцінки описують сприйняті зусилля. Вони не доводять, що ШІ спричинив стійку втрату навичок.
Читати першоджерело ↗
Shen & Tamkin · Anthropic Fellows Program / Anthropic · Препринт дослідження
У дослідженні опанування нової програмної бібліотеки допомога ШІ в середньому знижувала розуміння під час перевірки одразу після навчання. Способи взаємодії, що зберігали розумову залученість, були пов’язані з кращими результатами навчання.
Конкретне навчальне завдання й негайне оцінювання. Способи взаємодії не розподілялися випадковим чином окремо; це не перевірка довготривалих професійних навичок.
Читати першоджерело ↗
Dell’Acqua et al. · Organization Science · консультанти BCG
У рандомізованому експерименті з 758 консультантами BCG група з 373 осіб розв’язувала бізнес-завдання за межами можливостей перевірюваної моделі. Допомога GPT-4 знижувала частку правильних рішень, але рекомендації, підготовлені з ШІ, оцінювалися як більш зв’язні й переконливі — навіть коли були хибними.
В експерименті використовувалася GPT-4 у 2023 році. Результати стосуються конкретних завдань, а не сучасних моделей, довготривалої втрати навичок чи ефективності TPM.
Читати першоджерело ↗Інструмент може поліпшувати поточні результати. Саме собою це не показує, чого навчаються люди.
Наочні кроки, редаговані результати й змістовні перевірки — можливі способи підтримати участь людини.
TPM потребує власного оцінювання. Ці дослідження дають підстави поставити запитання, але не відповідають на нього щодо TPM.
| Сфера оцінювання | Що досліджувати |
|---|---|
| Якість роботи | Точність, корисні підтвердження, упущення та якість рішень. |
| Розуміння | Чи можуть люди пояснити припущення й виявити слабкі місця в міркуваннях. |
| Перенесення навичок | Чи можуть вони застосувати метод до нового завдання з меншою допомогою. |
| Час і зусилля | Де допомога заощаджує зусилля й де увага людини залишається необхідною. |
Запропоновані критерії оцінювання. Тут не заявляються ані завершене дослідження TPM, ані підтверджені результати клієнтів.
Not a member yet? Register now
Are you a member? Login now
