Штучний інтелект зіграв мелодію на піаніно пальцями дилетанта в грі на цьому інструменті (відео)

Шестеро студентів MIT зібрали пристрій, через який штучний інтелект Claude керує пальцями людини за допомогою електростимуляції м'язів. У відеодемонстрації прототип зіграв коротку мелодію на піані3но, склав жест «ОК» і помахав рукою на привітання. Проєкт під назвою Human Operator переміг на хакатоні MIT HARD MODE 2026, а код для його втілення виклали на GitHub, зазначають Патріоти України.

Як модель змушує рухатися людські м’язи?

У новій розробці після того, як користувач промовляє запит, камера на голові знімає середовище довкола, і модель Claude обирає потрібний рух. Невелика плата-мікроконтролер перетворює план руху на електричні сигнали, які через реле надходять на електроди мізинця, середнього й вказівного пальців та зап'ястка. Після цього м'язи скорочуються в потрібному порядку. До цього системи електростимуляції виконували лише наперед записані послідовності — наприклад, кілька фіксованих жестів для конкретного сценарію. Human Operator натомість підбирає рух у реальному часі під довільний запит і те, що бачить камера.

Утім, усі демонстрації поки що відбувалися в контрольованих умовах самої команди, а рухи обмежені трьома пальцями та зап'ястком. Сама концепція не нова: автори проєкту посилаються на роботу лабораторії Педро Лопеса з Чиказького університету, де дослідники побудували систему, в якій мультимодальний штучний інтелект сам генерує інструкції для стимуляції м'язів за голосом і зображенням з камери без наперед записаних команд. Водночас прототип MIT — швидке відтворення цієї лабораторної концепції за допомогою комерційних матеріалів.