Может ли визуальное и слуховое восприятие повысить производительность?
Когда затраты на аудиовизуальную интеграцию перевешивают преимущества? Люди думают, что чувства разделены, но исследования показывают: люди часто объединяют визуальную и слуховую информацию. Два чувства лучше, чем одно? Когда слуховые и визуальные сигналы совпадают, то возможно повысить производительность в когнитивных и перцептивных задачах. Когда слуховые и визуальные сигналы не совпадают, затраты могут перевешивать выгоды.
Люди склонны думать о пяти чувствах (зрение, слух, обоняние, вкус и осязание) как об отдельных процессах, происходящих независимо внутри мозга и тела. После знаковых исследований мультисенсорной интеграции, проведенных в 1990-х годах, исследователи начали понимать сложные взаимодействия между различными сенсорными модальностями.
Содержание
Влияние звуков на зрительное восприятие
В известном исследовании 1997 года, проведенном Робертом Секулером, участники оценивали, пересекаются ли две точки, приближающиеся друг к другу на экране компьютера, или отскакивают друг от друга. Визуальный стимул всегда был неоднозначным и мог быть интерпретирован в любом случае, но краткий слуховой щелчок в момент пересечения траекторий двух точек заставлял большинство наблюдателей судить, что точки отскакивают друг от друга.
В другом классическом исследовании 2000 года Ладан Шамс и его коллеги обнаружили: воспроизведение нескольких звуковых сигналов в быстрой последовательности приводит к тому, что большинство наблюдателей неправильно оценивают количество отображаемых визуальных вспышек. Одна вспышка, представленная вместе с двумя звуковыми сигналами, часто ошибочно воспринималась как две вспышки.
В 2015 году Ханна Голдберг и ее коллеги исследовали, могут ли звуки влиять на производительность в задаче на скорость визуальной модуляции. В данном типе заданий участников просят оценить, насколько быстро визуальный стимул (в данном случае рыба) меняет цвет с яркого на темный. Частота цветовой модуляции может составлять 5 Гц (пять раз в секунду; «медленная скорость») или 6 Гц («быстрая скорость»). Одновременно участники слышали не относящийся к задаче звук, громкость которого колебалась между громким и тихим с частотой 5 или 6 Гц.
Важно отметить: в некоторых испытаниях скорости визуальной и слуховой модуляции совпадали (звуки и визуальные эффекты модулировались на частоте 5 Гц), в то время как в других испытаниях они не соответствовали друг другу (звук – на частоте 5 Гц, а визуальные эффекты – на частоте 6 Гц).
Голдберг и его коллеги обнаружили: участники гораздо лучше оценивали скорость визуальной модуляции, когда скорость слуха соответствовала частоте зрения. Результат был воспроизведен несколько раз и расценен как свидетельство преимущества обработки мультисенсорных стимулов. Однако без надлежащего контрольного условия трудно сказать, действительно ли результаты отражают преимущество мультисенсорной обработки, когда чувства совпадают, или недостаток, когда чувства не совпадают.
Улучшение или ухудшение?
В исследовании, Цзяюэ Тай, Джек Форрестер и Роберт Секулер рассмотрели данный вопрос, представив участникам не только совпадающие и несоответствующие аудиовизуальные условия, но и условия молчаливого контроля, где визуально модулируется стимул предъявлялся без звука. Результаты подтвердили, что сопоставление скоростей слуховой и визуальной модуляции улучшило производительность примерно на 7 процентов по сравнению с условиями молчания.
Однако результаты показали: несоответствие аудиовизуальных условий оказывает еще большее влияние на производительность. Точность снизилась примерно на 12 процентов, когда скорости слуховой и зрительной модуляции не совпадали, по сравнению с испытаниями, где визуальные эффекты демонстрировались в тишине. Таким образом, ухудшение из-за аудиовизуального несоответствия было значительно больше, чем улучшение из-за аудиовизуального соответствия.
Многозадачность в повседневной жизни
Конгруэнтные звуки могут улучшить производительность в некоторых зрительных задачах, но важно подчеркнуть, что неконгруэнтные звуки могут ухудшить зрительную производительность, а иногда даже в большей степени. Таким образом, два чувства не всегда лучше, чем одно.
Люди склонны полагать, что реально выполнять зрительные задачи (вождение автомобиля) и слуховые задачи (прослушивание подкаста) независимо друг от друга. Исследование показывает: определенные типы межсенсорных конфликтов могут на самом деле ухудшить производительность. Необходимы дополнительные исследования для понимания, как зрительно-аудиальные конфликты могут влиять на производительность в повседневных задачах.
