Американский инженер-самоучка создал очки для управления умным домом с помощью жестов, сообщает GitHub.

Девайс позволяет взмахом руки включить лампу или музыку на колонке. В основе устройства лежат не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника. 

Умные очки

Изобретатель управляет жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая - жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на устройство.

Отключить рекламу

Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 000 кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения. Инженер научил систему принимать в качестве команды взмах руки.

технологииумный дом