Минувшим летом в Греции прошла 24 международная конференция по Digital Signal Processing (DSP2023), где были представлены статьи в сферах цифровой обработки сигналов и машинного обучения. Мемберы нашего сообщества Зангар Ермаганбет @goofymonarch@goofymonarch и @Ayana_Mussabayeva@Ayana_Mussabayeva, в соавторстве с профессорами NU, представили статью о double-input CNN, применяемом в спеллер системах для людей, страдающих амиотрофическим склерозом.

Суть спеллера (P300 Speller) - на экране мигают символы, и когда пользователь видит, как загорелся символ, который он хочет напечатать, это считается за целевой ответ. Задача сводится к бинарной классификации: сигнал либо целевой и юзер хочет напечатать подсвеченный символ, либо нет.

Авторы генерируют из EEG сигналов мозга два типа спектрограмм, используя независимый компонентный анализ и преобразование Фурье, после чего спектрограммы прогоняются через CNN с двойным входом.

Представленные результаты показывают, что представленный метод более эффективен сравнительно классических для BCI систем классификаторов вроде SVM или LDA.

Полная статья в открытом доступе на research gate.