Вспомогательная технология на языке управления с доступом к обычным приложениям для смартфонов по каналу связи Bluetooth

1. Аннотация
2. ВВЕДЕНИЕ
3. II. АРХИТЕКТУРА СИСТЕМЫ
4. A. Гарнитура с внешней системой привода (eTDS)
5. B. Алгоритм обработки сигналов датчика
6. C. Tongue Drive-iPhone Bluetooth интерфейс мыши
7. D. Tongue Drive-iPhone Интерфейс программного обеспечения
8. III. ОЦЕНКА ЭФФЕКТИВНОСТИ
9. Результаты эксперимента
10. Внутривенно ЗАКЛЮЧЕНИЕ
11. Подтверждения
12. Рекомендации

Conf Proc IEEE Eng Med Biol Soc. Авторская рукопись; доступно в PMC 2014 6 июля.

Опубликовано в окончательной редакции в виде:

PMCID: PMC4083017

NIHMSID: NIHMS553452

Лаборатория GT-Bionics, Школа электротехники и вычислительной техники в Технологическом институте Джорджии, Атланта, Джорджия, США

Смотрите другие статьи в PMC, которые цитировать опубликованная статья.

Аннотация

Tongue Drive System (TDS) - это беспроводная носимая вспомогательная технология (AT), которая позволяет людям с тяжелыми формами инвалидности управлять своими компьютерами, инвалидными колясками и электронными гаджетами, используя движение языка. Мы разработали TDS для управления встроенными и загружаемыми приложениями смартфона (iPhone / iPod Touch) с помощью настраиваемого модуля мыши Bluetooth, эмулируя касания пальцем на сенсорном экране. Интерфейс Bluetooth-мыши TDS-iPhone был оценен четырьмя трудоспособными субъектами для выполнения сценария, состоящего из семи заданий, которые были случайным образом упорядочены с помощью касания на экране iPhone указательным пальцем, компьютерной мыши на iPhone и Bluetooth TDS-iPhone интерфейс мыши с движением языка. Предварительные результаты показывают, что среднее время завершения сценария с касанием, мышью и TDS составляет 165,6 ± 14,50 с, 186,1 ± 15,37 с и 651,6 ± 113,4 с соответственно, показывая, что TDS на 84,37% и 81,16% медленнее, чем прикосновение и мышь для скорости набора текста с незначительными ошибками. В целом, учитывая ограниченное количество команд и незнакомство субъектов с TDS, мы достигли приемлемых результатов для функции громкой связи.

ВВЕДЕНИЕ

По данным Национального центра статистики травм спинного мозга, число людей с травмой спинного мозга в США в 2010 году оценивалось примерно в 265 000 человек. Растет интерес к улучшению качества жизни людей с ограниченными возможностями. помогая им стать более независимыми [ 1 ]. Поэтому были разработаны многочисленные вспомогательные технологии (АТ), такие как «глоток и пух», система слежения за глазами, переключатели электромиографии (ЭМГ), распознавание голоса, интерфейсы мозг-компьютер и массивы голов [ 2 ].

Мы разработали систему Tongue Drive System (TDS) для людей с серьезными нарушениями, чтобы управлять компьютерами и окружающей их средой, используя движение языка. TDS переводит волевое движение языка пользователя в команды, которые затем связываются с внешними устройствами, чтобы дать больше свободы и независимости в их повседневной жизни. TDS был оценен с точки зрения его эффективности для доступа к компьютеру [ 3 ], [ 4 ]. Мы разработали приложения для iPhone в качестве устройства управления ключами с помощью TDS для набора телефонных номеров [ 5 ] и в качестве интерфейса для управления электрическими инвалидными колясками (PWC) с помощью движения языка [ 6 ].

Согласно отчету ComScore, опубликованному в январе 2012 года, в США насчитывается более 100 миллионов подписчиков смартфонов, и сообщается, что в магазине приложений iPhone (Apple, Inc.) доступно около 500 000 приложений, а в Android - около 400 000 приложений. рынок (Google, Inc.). Однако есть только несколько AT, которые могут взаимодействовать со смартфонами, большинство из которых все еще ограничено определенными приложениями. Первый пример - iPod, управляющий глотком и пухом 7 ], который предлагает пользователю выбрать из меню iPod. Другим примером является коммерчески доступный интерфейс AT для Android под названием Tecla [ 8 ], в котором используется настраиваемое оборудование и приложения, обеспечивающие определенную степень контроля в главном меню смартфона. Это система сканирования, которая перемещает курсор на программную клавиатуру на экране телефона Android. Обе системы обеспечивают большую независимость для пользователей, однако им еще предстоит стать интуитивно понятными и свободно ориентироваться.

Чтобы реализовать функцию мыши на смартфоне, мы эмулировали датчик мыши внутри коммерческой мыши Bluetooth с помощью команд TDS. Таким образом, элемент управления TDS больше не ограничен определенным приложением, и пользователи имеют доступ ко всем встроенным и загружаемым приложениям, а также полные возможности навигации на сенсорном экране iPhone.

показывает, что TDS может использоваться для различных задач в качестве унифицированного AT, а следующим шагом является доступ к дополнительным приложениям, доступным на рынке, через модуль Bluetooth. Новый интерфейс, представленный в этой статье, позволяет внешней гарнитуре TDS (eTDS) обмениваться данными со смартфоном и передавать данные датчика в алгоритм обработки сигналов, работающий на смартфоне, и превращать необработанные данные в управляющие команды для компьютеров, смартфонов и PWCs. Поэтому мы создали универсальный интерфейс, использующий TDS для определения намерений пользователя посредством движений его языка.

Блок-схема внешней системы привода языка (eTDS).

II. АРХИТЕКТУРА СИСТЕМЫ

показывает настройку теста интерфейса мыши Bluetooth TDS-iPhone, используемую одним из субъектов. Этот прототип состоит из эргономичной гарнитуры eTDS (), постоянного магнитного индикатора, прикрепленного к языку пользователя (вставка), и iPhone / iPod touch. Bluetooth-интерфейс мыши TDS-iPhone подключается к iPhone через 30-контактный разъем, в то время как он встроен в коммерческую мышь Bluetooth (). Когда соединение Bluetooth установлено, специальное приложение, работающее на фоне iPhone, получает данные беспроводного датчика и классифицирует необработанные данные в команду TDS, которая управляет движениями курсора мыши. Приложение может быть расширено для доступа к компьютеру и навигации в инвалидных колясках. Однако в этой статье мы сосредоточимся на доступе и использовании самого смартфона через TDS.

Настройка тестирования интерфейса мыши Bluetooth TDS-iPhone: (a) Пользователь надевает гарнитуру eTDS при подключении магнитного индикатора рядом с кончиком языка (вставка). (b) Плата интерфейса мыши TDS-iPhone Bluetooth. (c) Комплектная гарнитура-прототип eTDS и плата магнитных датчиков.

A. Гарнитура с внешней системой привода (eTDS)

Прототип eTDS состоит из четырех 3-осевых магнитных датчиков (Honeywell, Plymouth, MN), которые держатся с двух сторон возле щек пользователя с помощью пары регулируемых полюсов для облегчения позиционирования датчика. Блок управления находится на задней панели правого уха, а схема управления питанием с литиево-ионной аккумуляторной батареей (3,7 В, 130 мАч) расположена сзади на левом ухе (см.). Блок управления включает в себя интерфейс датчиков, который управляет циклическим режимом работы магнитного датчика, усилением и оцифровкой, микроконтроллер системы на кристалле с низким энергопотреблением (CC2510, Texas Instruments, Dallas TX) с радиочастотным трансивером 2,4 ГГц и миниатюрный 2,4 ГГц чип антенна.

Небольшой дискообразный (~ 4,8 мм × 1,5 мм) редкоземельный постоянный магнит (K & J Magnetics, Jamison, PA) был прикреплен к кончику языка пользователя с помощью капли цианоакрилатного клея (GluStitch Inc., Point Roberts, WA) , Более подробное описание прототипа гарнитуры eTDS можно найти в [ 9 ].

B. Алгоритм обработки сигналов датчика

Обработка сигналов датчика состоит из двух основных частей: калибровки и классификации. Необработанные данные датчиков собираются при фиксировании положения датчиков и определении линейной взаимосвязи между различными датчиками, одновременно уменьшая влияние магнитного поля Земли (ЭМП) и внешних магнитных помех (ЭМП). Алгоритм SSP, основанный на анализе главных компонентов (PCA) и классификаторе ближайшего соседа (KNN), работает на iPhone.

Собранные данные из обучения шести команд, а также нейтральной позиции, касаясь конкретных позиций внутри рта, восстанавливаются в пространстве PCA для создания кластера для каждой команды. В течение периода работы входящие данные преобразуются и отражаются в пространстве PCA для классификации в одну из команд с использованием восьми различных классификаторов. Метод большинства голосов выбирает наиболее вероятные команды из обучающих данных и преобразует их в движения курсора мыши на экране iPhone. Более подробное описание алгоритма TDS SSP можно найти в [ 3 ].

C. Tongue Drive-iPhone Bluetooth интерфейс мыши

Интерфейс мыши TDS-iPhone Bluetooth состоит из РЧ-модуля, схемы интерфейса PWC, микроконтроллера (CC2510) для эмуляции ввода от оптического датчика мыши и модуля Bluetooth (BCM2042, Broadcom, Irvine, CA), который интегрирован с человеком. профиль устройства интерфейса (HID) для мыши и клавиатуры. Блок-схема показана в.

Блок-схема интерфейса Bluetooth для мыши TDS-iPhone. Подробнее о серой области см. [ 6 ].

Мы установили беспроводное соединение между гарнитурой eTDS и iPhone через РЧ-модуль, размещенный в интерфейсе мыши TDS-iPhone Bluetooth, который питается от батареи iPhone. Полученные данные передаются на iPhone через последовательный порт со скоростью передачи 115,2 кбит / с. Интерфейс PWC, показанный, но не используемый в этой статье, позволяет управлять PWC через TDS, как описано в [ 6 ].

Коммерческая мышь Bluetooth (беспроводная мышь Logitech V470, Logitech International SA), выбранная для этого интерфейса, имеет оптический датчик (ADNS-7550, Avago Technologies, Сан-Хосе, Калифорния), который оптически получает изображения поверхности. Он внутренне обрабатывает кадры изображения с помощью алгоритма цифровой обработки сигналов (DSP), и в результате получается 2-осевая величина относительного смещения. Он связывается с модулем Bluetooth через последовательный периферийный интерфейс (SPI) для отправки информации о направлении вместе с состоянием двух механических переключателей для левого и правого щелчка. Микроконтроллер эмулятора мыши (CC2510) получает классифицированные команды TDS от iPhone и либо преобразует их в цифровые сигналы, аналогичные выходам оптического датчика мыши для команд направления, либо активирует пару MOS-переключателей, заменяющих механические кнопки мыши. ,

D. Tongue Drive-iPhone Интерфейс программного обеспечения

IPhone4 и iPod Touch 4G оснащены процессором ARM Cortex-A8 Apple A4 (S5L8930, Samsung, Корея) с тактовой частотой 800 МГц, 512 МД DRAM и 3,5-дюймовым сенсорным дисплеем с разрешением 960 × 640 пикселей (326 точек на дюйм).

В текущем прототипе алгоритм обработки сигнала программируется в Objective-C, предоставленном в комплекте для разработки программного обеспечения iPhone (SDK v3.2.5, Apple Inc., Купертино, Калифорния).

Чтобы минимизировать потерю пакетов данных, пакеты разработаны так, чтобы содержать две предыдущие выборки данных. Если обнаружена потеря пакета, буферизованные данные применяются для замены потерянных данных и выполнения команд классификации. IPhone может обрабатывать три пакета данных в течение 20 мс.

Четыре направленные команды перемещают курсор мыши на iPhone в основных направлениях. Последние две команды предназначены для переключателей левого и правого щелчка, которые были выделены для выбора (касания на сенсорном экране) и нажатия кнопки «Домой» на iPhone соответственно.

показывает разработанный графический интерфейс для приложения управления мышью TDS-iPhone, которое работает в фоновом режиме, получая и классифицируя данные магнитного датчика, чтобы пользователь мог непрерывно выполнять и управлять курсором мыши во время просмотра за пределами этого приложения.

(a) рекомендуемые положения языка для 6 команд TDS, (b) приложение управления мышью, которое имеет функции приема и классификации, и (c) экран главного меню для управления iPod touch для оценки системы.

III. ОЦЕНКА ЭФФЕКТИВНОСТИ

Четыре трудоспособных добровольца, два мужчины и две женщины в возрасте от 24 до 32 лет, приняли участие в этом испытании, чтобы оценить функциональность Bluetooth-интерфейса мыши TDS-iPhone, работающего на iPod Touch 4G. Субъекты носили гарнитуру eTDS, как показано на рисунке, и к языку был прикреплен постоянный магнитный индикатор, расположенный на расстоянии 1 см впереди кончика.

Был разработан вспомогательный графический интерфейс для калибровки и обучения TDS в LabVIEW или на iPhone. Чтобы предоставить пользователям некоторые практические возможности с лучшей визуальной обратной связью, начальные процедуры калибровки и обучения TDS были выполнены на ПК с использованием 22-дюймового ЖК-монитора, хотя эти шаги также можно выполнять на меньшем экране iPhone. показывает рекомендуемое положение языка для тренировки управления TDS, связанного с каждой отдельной командой. Субъекты циклически повторяли рекомендуемые положения по 10 раз, удерживая язык неподвижно в каждой командной позиции в течение нескольких секунд во время тренировки, которая занимает около пяти минут.

После обучения системы испытуемых просили практиковать команды TDS с несколькими видеоиграми на компьютере в течение примерно 10 минут. Когда испытуемым было удобно вводить команды TDS, обученные данные передавались на iPhone для использования в алгоритме SSP в режиме реального времени.

IPod был установлен на расстоянии 30 см от лица пользователя на подставке для книг с помощью Sticky Pad® (). Субъекты должны были зафиксировать свое запястье на столе и использовать их только для фиксации своего запястья на столе, а указательным пальцем своей доминирующей руки касаться экрана iPhone. Сценарий тестирования заключался в выполнении семи задач, подробно описанных в следующем абзаце, при записи на цифровую видеокамеру. TDS оценивался по следующим параметрам: время завершения, скорость набора и количество исправлений. TDS сравнивали с сенсорным экраном и мышью Bluetooth, которые являются наиболее распространенным способом управления смартфоном и компьютерами соответственно. Модуль Bluetooth TDS-iPhone работает путем выдачи команд TDS, который заменяет команды мыши на управление только четырьмя направлениями (влево, вправо, вверх и вниз). Система также распознает касание левой щеки как выбор, а касание правой щеки - как кнопку «Домой» на iPhone.

Отдельные приложения, используемые для тестирования, показаны в.

• Телефонный звонок (Talkatone, Talkme.im, Inc.): нажмите свой номер телефона и, когда услышите звонок, нажмите кнопку повесить трубку.

• Текстовые сообщения (Kakao talk, Kakao Co.): введите и отправьте данное сообщение на зарегистрированный номер.

• Игра Tic-Tac-Toe (Optime Software LLC): играйте в игру и пройдите ее один раз.

• Facebook (Facebook, Inc.): найдите страницу группы «GTBionics» и оставьте данное сообщение.

• Календарь: найдите сегодня и создайте расписание.

• Почта: отправьте письмо на указанный адрес.

• Музыка iPod: найдите нужную песню в списке и воспроизведите ее.

Различные задачи были выбраны случайным образом, и каждая из них была оценена в 4 раунда. Каждый предмет прошел 12 раундов сценариев задач. Первое испытание каждого метода рассматривалось как практический раунд. Весь сеанс занял ~ 60 минут, включая калибровку TDS и обучение.

Результаты эксперимента

Все предметы успешно выполнили поставленный набор заданий. Два из испытуемых имели предыдущий опыт работы с TDS, но не на регулярной основе. показывает, что выполнение задач с помощью сенсорного экрана, мыши и TDS заняло в среднем 165,6 ± 14,5 с, 186,1 ± 15,4 с и 651,5 ± 113,4 с соответственно. В терминах символов, набранных в минуту (CPM), эти методы дали 74,94, 62,15 и 11,71 CPM соответственно, как показано в. Следовательно, печатать с сенсорным экраном и мышью соответственно в 6,39 и 5,31 раза быстрее, чем с TDS. Это связано с тем, что в TDS было только 4 команды направления без ускорения курсора, и субъекты были не так знакомы с ним, как с двумя другими интерфейсными устройствами.

(а) Среднее время выполнения сценария задачи. (б) Скорость ввода символов в минуту ( CPM ). (c) Количество исправлений. Столбики ошибок на графиках показывают стандартное отклонение.

Из-за небольшого размера клавиатуры iPhone пальцы испытуемых легко ударяются о расположенные рядом клавиши (см.). Таким образом, сенсорный метод показал наибольшее количество исправлений. Несмотря на то, что скорость ввода мыши была медленнее, чем прикосновение, пользователи редко нажимали непреднамеренные клавиши. TDS был не так точен, как мышь, но было зарегистрировано меньше ошибок по сравнению с сенсорным экраном.

Внутривенно ЗАКЛЮЧЕНИЕ

Пользователи системы Tongue Drive System теперь могут получать доступ к универсальным приложениям для смартфонов (iPhone / iPod Touch), подключив модуль мыши Bluetooth. Это расширяет охват TDS для многочисленных встроенных и загружаемых приложений. Bluetooth-мышь TDS-iPhone, которая эмулирует сенсор мыши с помощью команд TDS, может использоваться в качестве расширения для замены контроллера мыши. Значение интерфейса мыши Bluetooth TDS-смартфон состоит в том, что он позволяет пользователю TDS полностью управлять смартфоном (а также компьютером и PWC) без дополнительных периферийных устройств. Сначала мы проверили управляемость iPhone. В ближайшее время мы включим дальнейшую оценку с PWC и другими экологическими средствами контроля. Мы выбрали iPhone в качестве популярного смартфона для реализации этих функций. Однако другие смартфоны можно использовать с небольшими изменениями в интерфейсе мыши Bluetooth. Сравнение между сенсорным экраном и управлением мышью на смартфоне показало лучшие результаты, чем управление TDS. Это связано с отсутствием профиля движения курсора (ускорение / замедление) и пропорциональности в текущей системе TDS, а также, возможно, с отсутствием опыта у испытуемых. Дальнейшее развитие интерфейса Bluetooth-мыши TDS-smartphone и усовершенствованных алгоритмов обработки сигналов необходимо для обеспечения возможности пропорционального управления. Более детальная оценка TDS конечными пользователями с ограниченными возможностями не только в контролируемой лабораторной среде, но также и в реальных жизненных ситуациях, от дома до работы и на открытом воздухе, входит в число наших будущих направлений исследований.

Подтверждения

Resrach частично поддержан грантом Национального института биомедицинских изображений и биоинженерии 1RC1EB010915 и наградами Национального научного фонда CBET-0828882 и IIS-0803184.

Рекомендации

3. Хуо Х., Ван Дж., Гованлу М. Магнитоиндуктивный датчик на основе беспроводного интерфейса язык-компьютер. IEEE Trans. Нервная Сист. Rehabil. Eng. Октябрь 2008 г .; 16 (5): 497–504. [ PMC бесплатная статья ] [ PubMed ] [ Google ученый ] 4. Юсефи Б., Хуо Х., Веледар Э., Гованлу М. Количественная и сравнительная оценка обучения на языковом компьютере. IEEE Trans. Информация. Tech. в биомедицине. 2011 сентябрь; 15 (5): 747–757. [ PMC бесплатная статья ] [ PubMed ] [ Google ученый ] 5. Ким Дж, Хуо Х, Гованлу М. Беспроводное управление смартфонами с помощью движения языка с помощью вспомогательной технологии привода языка. Proc. IEEE 32-й англ. в мед. и биол. Conf. Сентябрь 2010 г .: 5250–5253. [ PMC бесплатная статья ] [ PubMed ] [ Google ученый ] 6. Ким Дж, Хо Х, Миноча Дж, Холбрук Дж, Лауманн А., Гованло М. Оценка платформы смартфона как беспроводного интерфейса между системой привода языка и электрическими инвалидными колясками. IEEE Trans. на биомед. Eng. 2012 июнь; 59 (6): 1787–1796. [ PMC бесплатная статья ] [ PubMed ] [ Google ученый ] 7. Грогг К., Аншутц Дж., Джонс М. Разработка интерфейса sip and puff для музыкального устройства iPod. Proc. 30-й ежегодной конференции RESNA Conf. 2007 [ Google ученый ] 9. Park H, Kim J, Huo X, Hwang I, Ghovanloo M. Новая эргономичная гарнитура для языковой системы с беспроводным интерфейсом смартфона. Proc. IEEE 33-й англ. в мед. и биол. Conf. 2011 сентябрь;: 7344–7367. [ PMC бесплатная статья ] [ PubMed ] [ Google ученый ]

Похожие

Комментарии