Международная группа ученых в МГЛУ исследует «грамматику» жестов в разных языках

В Центре социокогнитивных исследований дискурса (СКоДис) при Московском государственном лингвистическом университете (МГЛУ) ученые исследуют то, как жестикулируют носители русского, французского и немецкого языков и люди, говорящие на других изучаемых языках, когда рассказывают о повседневных событиях. Ученые стремятся установить связь между особенностями жестов и грамматикой повествования. Исследование поддерживается грантом Российского научного фонда (РНФ), а его результаты были представлены на ряде международных конференций и симпозиумов, в том числе на симпозиуме «Полимодальная коммуникация в языках и культурах», прошедшем в МГЛУ в октябре-ноябре 2017 года.

Ученые исследовали, есть ли связь между грамматикой повествования и спонтанными жестами рук, которые это повествование сопровождают. В частности, исследователи предположили, что характер глагола (завершенность и незавершенность действия) будет связан с таким параметром движения руки, как резкость или плавность жеста.

«Если французы употребляют глагол в завершенном времени, то они чаще делают резкий жест, а если используют прошедшее незавершенное время, то в основном производят более плавные жесты. Мы думали, что подобные различия будут обнаружены и в русском языке, где различаются глаголы совершенного и несовершенного вида. Оказалось, что вне зависимости от формы глагола носители русского языка жестикулируют практически одинаково, отдавая предпочтение резким жестам. В немецком языке ситуация также неоднозначна», — рассказал Алан Ченки, руководитель проекта, заведующий лабораторией ПолиМод Центра социокогнитивных исследований дискурса при МГЛУ, профессор Свободного университета в Амстердаме.

Алан Ченки организовал в центре СКоДис когнитивную лабораторию полимодальной коммуникации. Полимодальная, или мультимодальная, лингвистика изучает не только вербальный язык человека, но и движения его тела, а также другие модальности (статичные изображения, видеоряд), которые используются в ходе общения.

На первых этапах проекта проводился анализ жестов в речи с помощью компьютерной программы ELAN, разработанной в НИИ психолингвистики имени Макса Планка в Неймегене (Нидерланды) для аннотации видео- и аудиозаписей. Сначала в эту программу загружаются видео, после чего ученые создают несколько слоев, «дорожек», на каждой из которых отмечается определенная характеристика языковой единицы и жеста и их продолжительность. Жесты характеризуются по типу, функции, амплитуде и другим параметрам движения. Этот процесс многослойного описания называется аннотацией.

Ученые также исследовали, как меняется жестовое поведение говорящих, когда они рассказывают о событиях на иностранном языке. Оказалось, что русские студенты, изучающие французский язык, начинают жестикулировать так же, как и французы: они производят больше плавных жестов с глаголами несовершенного вида.

В настоящий момент участники международного проекта начали анализировать жесты в повествованиях с помощью аппаратуры MoCap (Motion Capture, что в дословном переводе – «захват движения»). На человека надевается устройство с датчиками, которые считывают его движения во время разговора. На основе показателей MoCap специальная компьютерная программа строит жестикулирующий «скелет» этого человека — аватар. Ученые загружают полученное видео в ELAN и проводят аннотацию жестов. Преимущество MoCap в том, что она точно отслеживает жесты человека, измеряет их ускорение, направление, распределение энергии, и, таким образом, появляется возможность получить более надежные и объективные результаты.

«С помощью аватаров MoCap, можно построить роботов, движения которых будут больше походить на движения человека. Эту технологию также можно использовать в преподавании иностранных языков. Если мы будем лучше знать, как, например, жестикулируют французы во время речи, это может помочь студентам понять, как двигаться при разговоре, как «быть французом»», — пояснил Алан Ченки.

Изучение жестов, сопровождающих речь, показывает, что сложная структура языка, включающая в себя разные аспекты, отражается не только в языковых выражениях, но и в жестах. Другими словами, у спонтанных жестов тоже есть своя «грамматика». При этом языковая и жестовые «грамматики» — не одно и то же, так как свойства жестов меняются в зависимости от того, о чем говорит человек в данный момент, какие цели преследует и в каких отношениях он состоит с собеседником.

«По-видимому, подобные различия в жестикуляции связаны с тем, какие факторы в большей степени соотносятся с построением мысленного образа события у говорящих на разных языках: абстрактное грамматическое значение, конкретное лексическое значение, прагматические факторы», — заключил Алан Ченки.

Поделиться:
Картина дня
Новости и материалы
Медведев отреагировал на план Маска по примирению Украины и России
Аршавин перефразировал Булгакова, объясняя увольнение Радимова из «Зенита-2»
Главы МО стран Объединенного экспедиционного корпуса осудили теракт на «Северных потоках»
Комиссия по устойчивости экономики РФ разработает меры в условиях частичной мобилизации
La Repubblica: в НАТО нарастает паника из-за российского сверхзвукового дрона «Посейдон»
Экс-игрок «МЮ» Канчельскис заявил, что российский футбол отстает от Европы на 50 лет
Фигурист Ягудин ответил Плющенко на слова о том, что он не умеет кататься
Захарова назвала трусливым предложение Польши послу РФ осудить референдумы
МИД Франции: новый пакет санкций ЕС против РФ будет готов в ближайшие дни
Минобороны Армении сообщило об обстреле своих приграничных позиций со стороны Азербайджана
10-летний шахматист обыграл гроссмейстера Карякина
Центр РФ по примирению сторон в Сирии: ВКС РФ уничтожили 13 боевиков «ан-Нусры*»
Вице-премьер Молдавии Спыну обвинил «Газпром» в нарушении контракта из-за сокращения поставок
В ЛНР заявили, что участок фронта в районе Кременной полностью контролируется союзными силами
МИД Хорватии вызвал посла РФ из-за результатов референдумов
Форма обратной связи для жалоб на нарушения при мобилизации появилась на «Госуслугах»
Рублев отреагировал на предложение Баха по допуску россиян словами «это хоть какой-то выбор»
Зеленский отреагировал на предложения Маска о мире между РФ и Украиной
Все новости
Найдена ошибка?
Закрыть