Общата цел на проекта е изследване и разработване на иновативна методология за логопедична терапия асистирана от социални роботи, разширена реалност, облачни услуги и обработка на естествен език, която да подпомогне: (1) децата и подрастващите с комуникативни нарушения в усвояването и практикуването на речеви, езикови и социални умения в иновативна среда и (2) логопедите в проектирането на структурирани игрови сценарии във физическия, дигиталния и виртуалния свят чрез отворена платформа за синергично интегриране на асистиращите технологии (от тук нататък Платформата). В проекта са дефинирани две целеви групи: деца с КН (от предучилищна и начална училищна възраст) и подрастващи с КН (от прогимназиалния етап на образование). 
Проектът адресира 7 специфични цели в рамките на 36-месечна изследователска програма. 

Нашата основна хипотеза е, че чрез експериментални изследвания ще придобием нови знания за причините водещи до по-ефикасна методология чрез асистиращи технологии за терапия отвъд традиционната логопедична практика. Предложената в настоящия проект иновативна методология за „възприятие-познание-действие-преживяване-опит“ чрез игрови сценарии във физическия, дигиталния и виртуалния свят и разработването на иновативна Платформа ще доведат до по-пълноценна и ангажираща логопедична интервенция при деца и подрастващи с КН в сравнение с методологии, които не използват или използват отделни асистиращи технологии. Това от своя страна ще улеснява и подобрява общуването и социалната адаптация на ДПКН, тъй като те ще преживяват и придобиват специфичен за тях опит чрез интересни ежедневни, емоционални и социални сценарии в иновативна и защитена среда. Други наши очаквания са, че ДПКН ще развият не само социални и граждански компетенции, но и дигитални компетенции и умения за работа в екип както с хора, така и с реални и виртуални роботи асистенти.

Предполагаме, че чрез ергономичния модел за използване на Платформата, логопедите ще могат сами да избират кои асистиращи технологии да комбинират и чрез визуално програмиране графично да съчетават и сглобяват препрограмирани блокове за базови умения и поведения на САР, 3D сцени и интерактивност, облачни услуги за генериране на текст на български език и др. Очакваме, че създаването на Платформа с отворен достъп, ергономичен модел и възможности за разширяване с други асистиращи технологии, ще подпомогне и други специалисти (извън проекта), работещи с деца с КН в дневните, ресурсните и логопедичните центрове и кабинети в образователната и здравна система.

Опцията за интегриране на мобилни роботи за телеприсъствие в Платформата ще позволи логопедична интервенция от разстояние.

Проектът ще постигне поставените цели чрез 8 работни пакета. Ще се направи критичен анализ на съществуващите методологии за логопедична терапия подобрена с роботи, разширена реалност и ОЕЕ. Ще се изследват и анализират нови видове социално асистиращи роботи с цел оптималното използване на тяхната двигателна и комуникативна функционалност при създаването на методологията, по която ще се проектират и разработват структурирани и персонализирани игрови сценарии. При разработването на новия социално асистиращ робот ще се използват математически методи за кинематично моделиране на роботи и 3D проектиране. Ще се приложат алгоритми за проектиране на сцени във виртуална и смесена реалност. Чрез алгоритми за използване на облачни услуги и генеративни предварително-обучени трансформатори, които позволяват на машините да разберат сложното подзначение в изреченията на естествен език, ще се генерира човекоподобна реч с цел вербална комуникация човек-робот. Ще се приложи синергично интегриране на асистиращите технологии в една обща Платформа чрез използване на среда базирана на потоци в браузър за интегриране на устройства и услуги. За разработване на ергономичен модел за използване на Платформата, иновативно ще се приложи подходяща технология с отворен код за интуитивно и визуално програмиране чрез блокове. Ще се използва експерименталния подход за валидиране на функционалността на Платформата за подпомагане на логопедичната практика при деца и подрастващи с КН, които посещават Център по Логопедия на ЮЗУ „Неофит Рилски“ в Благоевград. Участието на двете целеви групи и логопедите се считат ключови за постигане на експерименталните изследвания. За извършване на количествена оценка на невербални социални сигнали, ще се комбинират иновативно съществуващи методи и технологии за проследяване на погледа, движение на главата, жестове, гласово поведение и др. 
Научните изследвания при разработване на Платформата ще включват повтарящи се цикли на развитие и тестване с участието на деца и подрастващи с КН като ще се следи за спазването на етичните правила по време на целия проект. Платформата ще бъде редовно обновявана и надграждана като ще бъде следван подхода за съвместно проектиране и включване на обратна връзка от всички потенциално заинтересовани страни (логопеди, лекар, психолог, лингвист, фонетик, деца, подрастващи, родители и експерти от други съсловни професионални организации).
Интердисциплинарността на изследванията, съсредоточена върху темата за асистиращи технологии стимулиращи комуникативно развитие при деца и подрастващи и разработване на предлаганата Платформа, налага екипна работа на учени, докторанти и студенти с различен професионален профил: ИКТ специалисти, специалисти по роботика, логопеди, лекар, психолог, педагог, лингвист. Също така може да се счита, че ИИ е една изключително интердисциплинарна област сама по себе си, изискваща компетентност и познания в различни научни сфери и интер- и мултидисциплинарно сътрудничество. За тази цел проектът се изпълнява от консорциум от три организации, които тематичното обвързват научните изследвания по проекта от три различни тематични области – Мехатроника и
Роботика, Обществено здраве и ИКТ, приоритетни за Иновационната стратегия за интелигентна специализация (ИСИС). Това обединение ще допринесе за постигането на по-силен синергичен ефект при изследването, разработването и прилагането на иновативна методология с асистиращи технологии за логопедична терапия при деца и подрастващи с комуникативни нарушения.

При проектиране на Методологията ще се направи анализ за развитие на използваните досега от екипа асистиращи технологии в логопедичната терапия, като ще се търсят решения за интегриране на повече от една АТ в отворена платформа с ергономичен модел за използване. Анализирането на нови социални роботи, нови технологии за виртуална/смесена реалност, потенциала на визуалното програмиране, както и нови методи за количествена оценка на невербални социални сигнали, ще са ключовите изследвания, които ще дадат възможност за разработването на предлаганате иновативна Методология. Ще се приложи изследователския метод Delphi34 (систематичен и интерактивен метод за прогнозиране) за структуриране на игровите сценарии и декомпозирането им в основни умения и поведенията за роботи и 3D сцени, съответно класифицирани към конкретното КН. АТ ще използват QR код за разпознаване на логопедичния контекст, който ще съдържа ключови думи (тагове), чиито променливи ще кодират какво поведение, 3D сцени или вербална комуникация се очакват от конкретната асистираща технология.

За изследване, разработване и управление на движенията на предвидения за логопедична интервенция робот Емо, ще се използват векторни и матрични методи, математичен апарат на геометрична алгебра и винтова теория. За изследване и разработване на сценариите асистирани от роботите НАО и Фурхат, ще се използва алгоритмичен подход и метод за визуално програмиране на нови умения и поведения чрез използване на графични среди базирани на блокове – Nao Choregraphe35 и Furhat Blockly36 . Ще се приложи кинематичен метод за програмиране на ставните движения на робот НАО в развойната среда за програмиране на Питон Naoqi 2.837. 3D CAD моделирането ще се използва за разработване на интерактивни сценарии във виртуална или смесена реалност, както и за виртуално присъствие на роботите НАО и Емо в 3D сцените. За разработване на сценариите в РР ще се използва Unreal Engine (UE) 38, който е двигател за игри с 3D компютърна графика и е с отворен код. Написан на C++ , Unreal Engine се отличава с висока степен на преносимост, като поддържа широка гама от настолни компютри , мобилни устройства , конзоли и платформи за виртуална реалност. Визуалната скриптова система Blueprint на Unreal Engine позволява създаване на скриптове за приложенията, както и създаване на базови елементи, като самостоятелни приложения.
За интегрирането на асистиращите технологии в една обща платформа ще се изследва и приложи подхода за интегриране на устройства и услуги в Интернет чрез среда базирана на потоци в браузър Node-RED39 с възможност за използване на облачни услуги. Чрез използване на концепцията за създаване на базирани на блокове визуални програмни езици и редактори (VPL), ще се разработи графичен интерфейс на Blockly40 за употреба на Платформата. За генериране на човекоподобен текст и изговарянето му ще се изследва подхода за комуникация от тип клиент-сървър и облачни услуги „при поискване“, които да връщаттекст или аудио файл в отговор на URL GET или POST заявки. Ще се изследват и тестват различни езикови модели с генеративен предварително-обучен трансформатор като Open AI GPT-3 41 и EleutherAI GPT-J 42. Платформата ще използва Сървърът Infographics на Google Charts за генериране на QR кодове43, който връща изображение на текста в отговор на URL GET или POST заявка. За оценяване на поведението на децата и подрастващите с КН в реалното и виртуално пространство ще се използват техники за проследяване на движението на очите, главата, ръцете, глас и др. като ще се използват някои от следните хардуерни и софтуерни продукти: 1) Eye tracking в HTC Viva PRO; 2) Head and eye tracking в очилата Hololens 2; 3) Tobii Pro eye tracking хардуер и софтуер 44. За наблюдения и обективно измерване на определени параметри, както на сегментно, така и на супрасегментно равнище, ще се приложи подход за речеви анализ чрез специализиран хардуер и софтуер Computerized Speech Lab. Ще се приложи статистически метод за анализ на експерименталните данни чрез специализиран софтуерен пакет SPSS Statistics.