ИССЛЕДОВАНИЕ И РАЗРАБОТКА «УНИВЕРСАЛЬНОГО СЛОВАРЯ ОБРАЗОВ» ДЛЯ СОЗДАНИЯ ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

Информатика, вычислительная техника и управление

УДК: 004.522

DOI: 10.30987/1999-8775-2020-5-39-48

А.Х. Хакимова, О.В. Золотарев, М.А. Берберова, Д.Х. Мирзоев, Е.С. Кривошлыкова, А.Ю. Федорова, П.А. Росщупкина, А.А. Белая

ИССЛЕДОВАНИЕ И РАЗРАБОТКА «УНИВЕРСАЛЬНОГО СЛОВАРЯ ОБРАЗОВ» ДЛЯ СОЗДАНИЯ ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

Измерение популярности тематики в Интернете - запрос Паутине по теме проекта дает 18900 результатов, а новизна определяется конкретикой, например, запрос «Универсальный словарь образов» - дает «No results found for» и 1 результат M24.RU - 10 неизвестных: монстры, лестницы, воронки и ключи ... www.m24.ru/articles/112668/ ... Предлагаемый проект предполагает создание банка уже существующих образов, имеющих широкое распространение и могущих стать средством межнационального общения для людей, у которых нет иного канала обмена информацией. В число таких образов могут входить распространенные жесты, знаки ориентировки на дорогах, в транспорте, на улице, в местах общего пользования и в государственных учреждениях. Они будут включать как отдельные образы, так и их комбинации, составляющие цельный понятийный комплекс (как вести себя за столом, в транспорте, на стадионе и пр.). Надо четко отметить, что предлагаемый словарь рассчитан на межличностное человеческое общение. Компьютерное распознание образов не может являться в данном случае основной целью реализации проекта. Ориентация на межличностное общение дает нам возможность выбирать образы для словаря и, что не менее важно, устанавливать практически выполнимые задачи на каждом этапе его создания.

A.Kh. Khakimova, O.V. Zolotarev, M.A. Berberova, D.Kh. Mirzoev, E.S. Krivoshlykova, A.Yu. Fedorova, P.A. Rosshchupkina, A.A. Belaya

INVESTIGATION AND DEVELOPMENT OF "UNIVERSAL IMAGE DICTIONARY" FOR CREATION OF MAN-MACHINE INTERFACE

The project urgency is evidenced by the measurement of subject-matter popularity on the Internet - a query to the Net on the topic of the subject gives 18900 results, and a novelty is defined by specification, for instance, the "Universal Image Dictionary" query gives "No results found for" and 1 result M24.RU - 10 unknown: monsters, stairs, funnels and keys. www.m24.ru/articles/112668/ ... The project offered supposes the creation of the bank of different images already existing and having a wide distribution and which can be a means of international communication for people having no any other channel for information exchange. Such images could include common gestures, traffic signs, signs in transport, in the streets, in public accommodations and in state offices. They

Введение

Автоматизированная навигация помогает туристам ориентироваться в незнакомой местности [1]. Важно иностранному туристу не оказаться один на один с городом в малознакомой стране. С помощью

will include both single images, and their combinations forming a single conceptual complex (rules of table etiquette, on transport, and at the stadium etc.). It should be emphasized clearly that the dictionary offered is intended for interpersonal communication. A computer identification of images cannot be in this case a basic purpose for project realization. The orientation to interpersonal communication gives us a possibility to choose images for the dictionary and, what is not less significant, to set problems actually solvable at every stage of its creation.

различных информационных систем можно определить, местонахождение, выяснить окружающую обстановку, объекты. Это позволяет любому заезжему гостю эффективно функционировать в пространстве.

В незнакомой местности важно, чтобы человек не терялся и в нужный момент смог воспользоваться необходимой информацией для достижения поставленной цели. Перечень параметров, предоставляемых гостю должен быть без лишней информационной нагрузки.

Для ориентации иностранному гостю должна быть предоставлена следующая информация в графическом виде: широко масштабируемая карта местности, параметризация объектов карты с помощью информационных сообщений, наиболее оптимальные направления движения. При этом цель может включать перемещение из одной точки в другую, а может определять направление к культурному объекту, городской инфраструктуре.

Основные принципы организации автоматизированной системы управления движением: эффективность с точки зрения достижения цели, понятная и уместная графика с необходимым масштабированием, четкий разборчивый шрифт, анимация, дополняющая информационную обеспеченность ориентации в пространстве, соИспользование пространства города

Важно, как городское окружение будет использовано при ориентации в пространстве [4]. Помимо графических средств отображения пространство должно дополняться не избыточными информационными комментариями, которые могут ненавязчиво привязываться к определенным объектам.

Нужно иметь информационные описания, которые соответствуют интересным историческим фактам конкретного места, культурного объекта и т.д. Интересными

Рис. 1. Красная площадь в Москве

ответствие международным стандартам отображения городского пространства и т.д.

Должна быть разработана унифицированная панорама знаком в качестве ключевого фактора навигационной системы. Однако важна их узнаваемость, поэтому необходимо опираться на основы (общепринятые элементы) графического изображения визуализации навигационных систем. Для узнаваемости и привлечения внимания было решено использовать яркую палитру и всем знакомые геометрические знаки - круг, квадрат, треугольник, ромб, прямоугольник.

Невозможно создать навигационный инструмент, не используя современный графический дизайн. Это и способ общения, коммуникации, возможность отображения наиболее уместных с точки зрения конкретной ситуации объектов, целей. Доказано, что изображение несет значительно больше информации, чем текст. При этом оно должно быть информативным [3].

фактами можно увлечь гостей при использовании культурных и мифологических особенностей местности - как, например, Красная площадь (рис. 1). В городе к атмосферным местам можно отнести парки (рис. 2) или необычные кафе (известная «Чебуречная» в Москве (рис. 3)). Значимое место может быть и в плохом состоянии, но ценность его от этого не теряется (остатки разрушенной крепости или церкви).

Рис. 2. Парк Горького в Москве

Созданный образ окружающего пространства играет важную роль при осмотре достопримечательностей иностранными гостями. Очень важно как представлены культурные, исторические объекты, как они отображены в информационной системе, какими снабжаются комментариями текстовыми или голосовыми. Создается некоторый репрезентативный образ посещаемого объекта, и каждый человек представляет это по-своему. Важно не обмануть его ожиданий.

Так, в городах основными загрязнителями визуальной среды являются гомогенные и агрессивные визуальные поля. Гомогенными называются объекты или множества объектов с минимальным количеством видимых элементов. В Москве к ним следует отнести высотные здания из стекла и бетона, серые и безликие многоэтажные строения. На их огромных голых стенах нет ничего, что могло бы привлечь внимание. Это вызывает у людей психологический дискомфорт [5].

Для анализа групп типичных стрессоров исследователи ввели некоторые термины: стресс в городе, потерянность в большом городе. Это приводит к негативным последствиям психику человека в незнакомом, часто враждебном городском пространстве.

Важно сформировать позитивный образ незнакомого пространства для иностранных гостей. От его привлекательности зависит эффективное функционирование города как туристического центра [6].

Рассмотрение факторов, оказывающих воздействие на имидж города, позволило структурировать их на две группы:

- объективные - культурные особенности, местоположение, мировой рейтинг культурного объекта, инвестиционный потенциал, информационное окружение и т.д.;

- субъективные - отношение местного населения к незнакомым иностранным посетителям, восприятие гостями культурны населения, местный менталитет и т.д.

На рис. 4 показаны факторы, влияющие на различные аспекты политики при формировании позитивного образа городского пространства.

Визуальная и психологическая атмосфера города во многом зависит от восприятия людей, основанного на их жизненном опыте в привычной жизненной среде [7].

Важное значение имеет графический дизайн как межнациональное средство коммуникации. Этот аспект необходимо учитывать при анализе коммуникационного поля и его адаптации к иностранным туристам в России и, в частности, в таком мегаполисе как Москва.

ОСНОВНЫЕ ФАКТОРЫ, ВЛИЯЮЩИЕ НА ФОРМИРОВАНИЕ ИМИДЖА ГОРОДА

Рис. 4. Факторы, влияющие на построение позитивного образа городского пространства

Основные проблемы ориентации иностранцев

Огромный поток информации, влияющий на людей в современном мире, приводит к тому, что бывает весьма проблематично ориентироваться в незнакомой местности. Это нужно учитывать в туристической деятельности, так как иностранные гости получают негативный опыт и формируют отрицательное отношение к городу [8]. Это затруднение может быть связанно с поиском определенных объектов, отсутствием нумерации домов и названий улиц, площадей, районов и т.д. Возникают проблемы при наличии противоречащих друг другу описаний. Все эти вопросы следует решать с помощью навигации, стараясь однозначно определять места, объекты, улицы и т.д., чтобы иностранные туристы не чувствовали себя потерянными в городе.

В контексте проблем навигации в городской среде особенно важно знать, как иностранные гости представляют себе незнакомый город, насколько для них являются доступными культурные объекты, насколько просто формируются маршруты, как предоставляется информация при описании навигации в городской среде. Нужно создать удобную, комфортную атв городской среде

мосферу. Этому может помочь добродушное отношение местного населения, помощь подготовленных волонтеров, дополнительная информация в городском пространстве на международных языках общения, в частности, на английском.

Исследователи выделили основные проблемы, по которым туристы не желают посещать Россию [9]:

Для привлечения иностранных туристов нужно создать комфортную среду (городскую, деревенскую, междугороднюю и т.д.). Для решения подобных вопросов необходимо определить и принять на самом высоком уровне ряд важных мер:

- повысить комфорт городской инфраструктуры для иностранных гостей, обеспечив их прекрасными возможностями для развлечений, принятия пищи, перемещения в городской среде;

- сохранить и восстановить наиболее значимые культурные исторические объекты;

- предложить туристам широчайшее

Создание визуальных словарей

Визуальный словарь - это словарь, использующий картинки, образы, фотографии, которые адаптируют материал к запоминанию через зрительное восприятие. Визуальные словари часто организованы по темам, а не являются алфавитным списком слов. Они помогают подключить к процессу запоминания зрительную память, образ воспринимаемого объекта при этом фиксируется в сознании благодаря зрительным впечатлениям.

Роль наглядных иллюстраций в словарях изучалась давно. Чтобы оценить и описать роль наглядных иллюстраций в словарях, необходимо понять механизм когнитивной обработки видимых изображений.

Гипотеза вербальной петли отводит ключевую роль скрытой вербализации и словесному хранению визуальных образов [10]. Согласно этой гипотезе, просматриваемое изображение переводится в последовательность слов, которые хранятся в памяти и используются в качестве основы для воспроизведения.

Двухступенчатый процесс восприятия предполагает мысленное представление для кодирования и хранения невербальных визуальных элементов. Объект или изображение может быть закодировано, то есть сохранено в невербальной форме. Вербализация, согласно этой точке зрения, входит в процесс только во время словесного декодирования визуального запаса [11].

Третья гипотеза основана на гештальт-теориях памяти, когда воспоминания сохраняются не в общий интерсенсорный склад, а в специфический для моразнообразие культурных программ и маршрутов, включая не только объекты исторического наследия, но и возможность получения дополнительной информации о стране;

- использовать и преумножать международный опыт других стран по созданию комфортной туристической базы.

дальностей, в которых они получены. Название объекта или изображения при просмотре приводит к тому, что устанавливаются как визуальные, так и словесные следы, но с просмотром изображения объект оставляет только визуальный след [10].

Эти три теории постулируют, что закодированный визуальный образ расшифровывается в словесную форму, но визуальная форма при этом не теряется. Объект всегда извлекается в визуальной форме, а процесс вербализации просто помогает, называя концепцию.

Все гипотезы утверждают, что информация, хранящаяся как в визуальной, так и в вербальной форме, будет лучше запоминаемой, чем информация, хранящаяся только в одной форме.

Таким образом, гипотеза двойного кодирования предсказывает, что образные посредники должны превосходить описательные, потому что двойное кодирование продвигается изобразительными, но не повествовательными посредниками [10].

Наиболее эффективными устройствами для направления и модификации внимания являются:

- стрелки, указывающие достопримечательности на рисунке;

- сокращение неактуальной информации в наглядной иллюстрации;

- позиционные правила, которые подразумевают, что самая важная часть изображения должна быть размещена в центре или в верхнем левом углу иллюстрации;

- идентификационные номера, которые соответствуют словесным модификаторам, таким как заголовок и подписи [12].

Системы виртуального окружения

В последнее время активно развиваются технологии дополненной и виртуальной реальности (ВР). Например, на рынке шлемов виртуальной реальности компании HTC и Oculus уже в течение нескольких лет соперничают со своими продуктами. Осенью 2016 года к этому соперничеству подключились компании Sony, LG и ASUS. Microsoft уже выпустила очки дополненной реальности Hololens, Google - Daydream и Google Glass. И это только известные и крупные брэнды. Кроме того, IDC утверждают, что рынок устройств дополненной и виртуальной реальности будет расти на 60 % ежегодно, количество устройств достигнет почти 100 миллионов через год [13]. Такие устройства находят применение во многих областях: наука, медицина, проектирование, игровая индустрия, фотография, различные спортивные симуляторы и тренажеры. Для многих систем из этого списка актуальна задача обеспечения естественного и удобного интерфейса для управления виртуальными объектами. Для этого требуется точное позиционирование объекта в виртуальной сцене, решить данную задачу могут системы отслеживания и распознавания.

Существующие системы можно разделить на следующие типы (по физическому принципу их устройства) [13]:

- Оптические (маркерные и безмаркерные). Данные устройства работают на основе определения образов. Это всем хорошо известные и распространенные сегодня повсеместно видеокамеры.

Механические. В данных устройствах происходит механическое измерение, вводится система метрик и точка отсчета.

Инерционные. В этих устройствах могут использоваться различные акселерометры и гироскопы. При этом, когда

Распознавание жестов

Из существующих типов устройств (оптические, механические, инерционные, акустические и магнитные) для целей данной работы подходят только оптические, так как они имеют достаточную точность и удобны в использовании [13]. Из оптических систем распознавание жестов для репроисходит расчет положения объекта, используются интегрированные выходные значения гироскопов, связанными с угловыми скоростями вокруг соответствующих осей.

Акустические. В подобных устройствах могут быть использованы и микрофоны, и устройства, генерирующие звуки для определения местоположения.

Магнитные/Электромагнитные. В подобных устройствах могут быть использованы специальные магнитные или электромагнитные устройства (катушки), определяющие напряженность магнитного поля.

В последнее время рынок оптических систем значительно вырос, а количество реализаций сопутствующих алгоритмов для распознавания жестов и отслеживания положения различных предметов увеличилось. Отдельный интерес представляют камеры и датчики глубины, так как они обладают высокой точностью и не влияют на степень восприятия виртуального окружения из-за отсутствия физического контакта. При этом реализация человеко-машинного интерфейса с возможностью проведения экспериментальных измерений степени восприятия виртуального пространства и точности позиционирования и манипуляции является актуальной задачей, начиная заниматься которой, требуется провести исследование технологий отслеживания и распознавания жестов и объектов. Таким образом, целью данной работы является выбор аппаратной и программной составляющей камер и датчиков глубины, осуществляющих оптический трекинг. Они будут использованы в последующем для решения вышеупомянутых задач по измерениям степени восприятия виртуального пространства.

шения задач трекинга мелкой моторики рук лучше всего подходят два устройства: Leap Motion и Intel RealSense. У обоих отслеживание происходит в ближней зоне в пределах полусферического объема от 0.2 до 1 метра, они могут быть интегрированы с движком Unity, который используется

для разработки ^К-приложения и позволяют получать как данные абстрактных модулей, описывающие руки, так и «сырые» данные с камеры. Окончательный

Результаты

Разработан макет приложения «Универсальный словарь образов».

Каждая тема (мы назвали отведенное ей место фреймом), получает для своей реализации одну либо несколько страниц. Страница включает один кадр (или компьютерный макет), состоящий из нескольких картинок-образов. Получается иерархическая лестница простых и сложных словарных единиц, каждая из которых получает специфическое название. Таким способом мы создаем профессиональную терминологию для нового вида лексикографии, где основным слагаемым служит образ.

Кроме содержательных единиц, отражающих реальные объекты, в словарь включены пять синтаксических образов (стрелки, координаты, иконки телефона, компьютерной мышки, кулак с поднятым большим пальцем - одобрение, с пальцем, обращенным вниз - неодобрение).

Некоторые макеты построены по принципу продолженного действия. Например, на макете обычных магазинов показано: как входить в магазин (одна картинка), выбрать тележку или корзинку для покупок (еще картинка), выбрать покупки из представленных на полках товаров, заплатить в кассе и запаковать покупку в мешочки (всего пять картинок). В будущих

Выводы

При решении научно-технических задач возникло целое научное направление когнитивных методов, которые являются основой образного мышления, ранее используемого в области изобразительного искусства. Проект направлен на создание универсального (в значительной степени всеобъемлющего) словаря различных образов, используемых по всему миру в различных областях человеческой деятельности. Под образом мы понимаем знак, имеющий определенное значение и работающий на перенос внешних ощущений и

выбор пал на Leap Motion, так как он обладает меньшими размерами и его можно легко закрепить на очки дополненной реальности.

вариантах словаря, компьютерном или смартфоновском, предложенные действия будут демонстрироваться в виде единого продолжающегося клипа. В нынешнем печатном словаре они показаны по-отдельности.

Первый вариант приложения разработан для Windows и доступно по адресу: https://bigwer.ru/zol/index.html. Оно построено по иерархическому признаку. Все переходы осуществляются либо по меню, либо по картинкам при наведении указателя. В верхней части экрана находится навигационное меню, по которому можно вернуться на более высокий уровень.

Пока приложение включает три категории: аэропорты, железнодорожные вокзалы, городской транспорт. Строки меню включают текст и поясняющую иконку. Тестовый вариант приложения разработан на русском и английском языках.

При выборе одной из категорий, выводится графическое меню, рисунки которого интуитивно понятны даже для индивидуумов, не знакомых ни с русским, ни с английским языками. Картинки содержат пояснения. На третьем уровне приводится более подробная структура выбранной категории с дополнительными значками-обозначениями и пояснениями к ним в нижней части экрана.

впечатлений человека в мозг, где он обрабатывается физиологически и используется для сохранения его в памяти ради создания базы для последующих реакций человека на внешние раздражители и эффективные реакции. Образы создают базу для словесных обобщений и их передачу другим людям, то есть являются основой для межличностной коммуникации.

Образы первоначально индивидуальны для каждого человека, но обработанные словесно, могут стать общими для той или иной культурной среды. Тогда они становятся хранителями коллективного опыта, который реализуется для коммуникации между людьми внутри одной или разных культур в повседневных действиях каждого из нас. Мы намерены выбрать наиболее распространенные в мире образы, прокомментировать словесно либо другими синонимичными образами их понимание людьми разных культур и затем использовать эти данные в различных практических приложениях.

Благодарность

Работа над данной статьей проходила при поддержке Российского фонда фундаментальных исследований, гранты 18-07-00225, 18-07-01111 и 18-07-00909.

СПИСОК ЛИТЕРАТУРЫ

Ссылка для цитирования:

Хакимова А.Х., Золотарев О.В., БербероваМ.А., Мирзоев Д.Х., Кривошлыкова Е.С., Федорова А.Ю., Росщупкина П.А., Белая А.А. Исследование и разработка «универсального словаря образов» для создания человеко-машинного интерфейса // Вестник Брянского государственного технического университета. 2020. № 5. С. 3949. Б01: 10.30987/1999-8775-2020-5-39-48.

Статья поступила в редакцию 19.02.20. Рецензент: д.т.н., доцент Брянского государственного технического университета

Захарова А.А.,

член редсовета журнала «Вестник БГТУ». Статья принята к публикации 20.04.20.

Сведения об авторах:

Хакимова Аида Хатифовна, к.б.н., доцент Камского института (г. Набережные Челны, Россия), ведущий научный сотрудник АНО «Научно-исследовательский Центр физико-технической информатики» (Нижний Новгород, Россия), Тел..: +7 (905) 372-96-15, е-таЛ: aida_khatif@mail.ru. Золотарев Олег Васильевич, к.т.н., доцент, зав. кафедрой информационных систем в экономике и управлении АНО ВО «Российский новый университет» тел.: +7 (903) 262-44-05, е-mail: о1-zo1ot@yandex.ru.

Берберова Мария Александровна, к.т.н., доцент кафедры информационных технологий и естественно-научных дисциплин АНО ВО «Российский новый университет», научный сотрудник АНО Международный Центр по ядерной безопасности, заместитель директора по науке АНО «Научно-исследовательский Центр физико-технической информатики» (Нижний Новгород, Россия), тел.: +7 (916) 507-57-99, е-mai1: maria.berberova@gmai1.com. Мирзоев Далер Халилиллоевич, магистрант кафедры информационных систем в экономике и управлении АНО ВО «Российский новый университет», тел.: +7 (925) 644-44-80, е-mai1: getvubo@mai1.ru

Кривошлыкова Екатерина Станиславовна, магистрант кафедры информационных систем в экономике и управлении АНО ВО «Российский новый университет», тел.: +7 (962) 923-53-17, е-mai1: katuxa25.90@mai1.ru.

Федорова Алена Юрьевна, магистрант кафедры информационных систем в экономике и управлении АНО ВО «Российский новый университет» (Москва, Россия), тел..: +7 (985) 748-74-23, е-mai1: a1ooonka73@mai1.ru.

Росщупкина Полина Альбертовна, магистрант

кафедры информационных систем в экономике и управлении АНО ВО «Российский новый университет» (Москва, Россия), тел..: +7 (909) 623-20-47, е-mail: kokos.polina@yandex.ru. Белая Александра Андреевна, магистрант кафедKhakimova Aida Khatifovna, Can. Sc. Bio., Assistant Prof. of Kama Institute (Naberezhnye Chelny, Russia), Leading research assistant of ANO "Research Center of Physical and Engineering Informatics" (Nizhny Novgorod, Russia), phone: +7 (905) 372-9615, е-mail: aida_khatif@mail.ru. Zolotaryov Oleg Vasilievich, Can. Sc. Tech., Assistant Prof., Head of the Dep. "Information Systems in Economy and Management", ANO HE "Russian New University", phone: +7 (903) 262-44-05, е-mail: ol-zolot@yandex.ru.

Berberova Maria Alexandrovna, Can. Sc. Tech., Assistant Prof. of the Dep. "Information Technologies and Natural Science Subjects", ANO HE "Russian New University", Research assistant ANO International Center for Nuclear Safety, Deputy Director for Science ANO "Research Center of Physical and Engineering Informatics" (Nizhny Novgorod, Russia), phone: +7 (916) 507-57-99, е-mail: ma-ria.berberova@gmail.com.

Mirzoev Daler Khalililloevich, Master degree student of the Dep. "Information Systems in Economy and

ры информационных систем в экономике и управлении АНО ВО «Российский новый университет» (Москва, Россия), тел..: +7 (916) 213-72-93, е-таЛ: aabelaya@mail.ru.

Management", ANO HE "Russian New University", phone: +7 (925) 644-44-80, e-mail: getvubo@mail.ru. Krivoshlykova Yekaterina Stanislavovna, Master degree student of the Dep. "Information Systems in Economy and Management", ANO HE "Russian New University", phone: +7 (962) 923-53-17, e-mail: katuxa25.90@mail.ru.

Fyodorova Alena Yurievna, Master degree student of the Dep. "Information Systems in Economy and Management", ANO HE "Russian New University" (Moscow, Russia), phone: +7 (985) 748-74-23, e-mail: alooonka73@mail.ru.

Rosshchupkina Polina Albertovna, Master degree student of the Dep. "Information Systems in Economy and Management", ANO HE "Russian New University" (Moscow, Russia), phone: +7 (909) 623-20-47, email: kokos.polina@yandex.ru. Belaya Alexandra Andreevna, Master degree student of the Dep. "Information Systems in Economy and Management", ANO HE "Russian New University" (Moscow, Russia), phone: +7 (916) 213-72-93, e-mail: aabelaya@mail.ru.