ISSN 2071-8594

Российская академия наук

Главный редактор

Г.С. Осипов

В.И. Васильев, А.Е. Сулавко, Р.В. Борисов, С.С. Жумажанова "Распознавание психофизиологических состояний пользователей на основе скрытого мониторинга действий в компьютерных системах"

Аннотация.

Установлено, что признаки голоса, клавиатурного почерка и характера работы субъекта с компьютерной мышью содержат информацию о следующих психофизиологических состояниях оператора: нормальное, усталость, опьянение, возбужденное, расслабленное (сонное). Признаки голоса лучше всего позволяют распознавать усталость или сонное состояние диктора. Клавиатурный почерк, помимо указанных состояний, имеет признаки, характеризующие нормальное состояние оператора. Некоторые особенности работы с мышью содержат информацию о сонном состоянии и состоянии опьянения. Проведен эксперимент по распознаванию состояний на основе стратегии Байеса и нейросетевого подхода, наилучший результат: 5,9% ошибок определения состояния за время мониторинга субъекта до 100 секунд.

Ключевые слова:

клавиатурный почерк, биометрический признак, особенности голоса, идентификация психофизиологических состояний, параметр работы с компьютерной мышью.

Стр. 21-37.

Полная версия статьи в формате pdf.

Литература

1. Машин В.А. Психическая нагрузка, психическое напряжение и функциональное состояние операторов систем управления// Вопросы психологии, 2007. № 6. С. 86-96.
2. Marcus J.H., Rosekind M.R. Fatigue in transportation: NTSB investigations and safety recommendations. Injury Prevention. 2016. doi: 10.1136/injuryprev-2015-041791.
3. Лужников Е.А. Клиническая токсикология. М.:Медицина, 1994. 256 с.
4. The Global State of Information Security® Survey 2016. [Электронный ресурс]. PricewaterhouseCoopers. (http://www.pwc.com/gx/en/issues/cybersecurity/information-security-survey/download.html, дата обращения: 27.06.2016).
5. Богомолов А.В., Гридин Л.А., Кукушкин Ю.А., Ушаков И.Б. Диагностика состояния человека: математические подходы. М.: Медицина, 2003. 464 с.
6. Ильин Е.П. Психофизиология состояний человека. СПб.: Питер, 2005. 412 с.
7. Cacioppo J.T., Tassinary L.G., Berntson G. Handbook of Psychophysiology. 3rd Edition. Cambridge university press, 2007. P. 433-452.
8. Bayevsky R.M., Ivanov G.G., Chireykin L.V. HRV Analysis under the usage of different electrocardiography systems (Methodical recommendations). Committee of Clinic Diagnostic Apparatus and the Committee of New Medical Techniques of Ministry of Health of Russia, 2002. V. 4. P. 2-67.
9. Malik M., Bigger J.T., Camm A.J. Heart rate variability: Standards of measurement, physiological interpretation, and clinical use. European Heart Journal, 1996. Vol. 17 (3). P. 354-381.
10. Машин В.А., Машина М.Н. Классификация функциональных состояний и диагностика психоэмоциональной устойчивости на основе факторной структуры показателей вариабельности сердечного ритма//Российский физиологический журнал им. И.М. Сеченова, 2004. Т. 90(12). С. 1508-1521.
11. Shi Ping, Vicente Azorin P., Echiadis A. Non-contact Reflection Photoplethysmography Towards Effective Human Physiological Monitoring. Journal of Medical and Biological Engineering, 2009. Vol. 30(3). P. 161-167.
12. Habib Tabatabai, David E. Oliver, John W. Rohr-baugh, Christopher Popadopoulos. Novel Applications of Laser Doppler Vibration Measurements to Medical Imaging. Sensing ant Imaging: An International Journal, 2013. Vol. 14(1-2). P.13-28.
13. Jing B, Li H. A novel thermal measurement for heart rate. Journal of Computers, 2013. Vol. 8(9). P. 2163-2166.
14. Zhao F. Li M., Qian Y., Tsien J.Z. Remote Measurements of Heart and Respiration Rates for Telemedicine. PLoSONE, 2013. Vol. 8(10).
15. Sun Y., Yu X., Berilla J. An innovative non-invasive ECG sensor and comparison study with clinic system. Proceedings of the IEEE Annual Northeast Bioengineering Conference, NEBEC, 2013, April 5-7. Art. no. 6574408. P. 163-164.
16. Jain U., Tan B., Li Q. Concealed knowledge identification using facial thermal imaging. Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2012, March 25-30. Art. no. 6288219. P. 1677-1680.
17. Carl B. Cross; Julie A. Skipper, Petkie D. Thermal imaging to detect physiological indicators of stress in humans. Proceedings of SPIE. Vol. 8705. doi:10.1117/12.2018107.
18. Ложников П.С., Сулавко А.Е., Толкачева Е.В., Жумажанова С.С. Распознавание водителей и их функциональных состояний по обычному и тепловому изображениям лица// Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих безопасность информационных технологий. Пенза, 2016. Т. 10. С. 63-65.
19. Епифанцев Б.Н. Скрытая идентификация психофизиологического состояния человека-оператора в процессе профессиональной деятельности: монография. Омск: Изд-во СибАДИ, 2013. 198 с.
20. Васильев В.И., Ложников П.С., Сулавко А.Е., Еременко А.В. Технологии скрытой биометрической идентификации пользователей компьютерных систем (Обзор)// Вопросы защиты информации. М.: Изд-во ФГУП «ВИМИ», 2015. №3. С. 37-47.
21. Lozhnikov P.S., Sulavko A.E., Samotuga A.E. Personal Identification and the Assessment of the Psychophysiological State While Writing a Signature. Information, 2015. № 6. P. 454-466.
22. Епифанцев Б.Н., Ложников П.С., Сулавко А.Е., Жумажанова С.С. Идентификационный потенциал рукописных паролей в процессе их воспроизведения// Автометрия, 2016. №3. С. 28-36.
23. Сулавко А.Е., Еременко А.В., Левитская Е.А., Самотуга А.Е. Идентификация психофизиологических состояний подписантов по особенностям воспроизведения автографа// Информационно-измерительные и управляющие системы, 2017. №1. С. 40-48.
24. Сулавко А.Е., Еременко А.В., Левитская Е.А. Разграничение доступа к информации на основе скрытого мониторинга действий пользователей в информационных системах: портрет нелояльного сотрудника// Известия Трансиба. Омск: Изд-во ОмГУПС, 2015. №1(21). С. 80-89.
25. Ayadi M. El., Kamel M.S., Karray F. Survey on speech emotion recognition: Features, classification schemes, and databases. Pattern Recognition, 2011. Vol. 44(3). P. 572-587.
26. Ткаченя А.В., Давыдов А.Г., Киселёв В.В., Хитров М.В. Классификация эмоционального состояния диктора с использованием метода опорных векторов и критерия Джини// Известия ВУЗов. Приборостроение, 2013. Т. 56(2). С. 61-66.
27. Давыдов А.Г., Киселёв В.В., Кочетков Д.С. Классификация эмоционального состояния диктора по голосу: Проблемы и решения// Труды международной конференции «Диалог 2011». М.: РГГУ, 2011. С. 178-185.
28. Orden K.F., Jung Tzyy-Ping, Makeig S. Combined eye activity measures accurately estimate changes in sustained visual task performance. Biological Psychology, 2000. № 52. P. 221–240.
29. Захарченко Д.В., Дорохов В.Б. Изменение отдельных параметров зрительно-моторных реакций под действием алкоголя// Экспериментальная психология, 2012. №2. C. 5-21.
30. Князев Б.А., Гапанюк Ю.Е. Распознавание аномального поведения человека по его эмоциональному состоянию и уровню напряженности с использованием экспертных правил. Инженерный вестник, 2013. №3. С. 509-523.
31. Mascord, D.J. & Heath, R.A. Behavioral and physiological indices of fatigue in a visual tracking task. Journal of Safety Research, 1992. Vol. 23. P. 19-25.
32. Борисов Р.В., Зверев Д.Н., Сулавко А.Е., Писаренко В.Ю. Оценка идентификационных возможностей особенностей работы пользователя с компьютерной мышью// Вестник Сибирской государственной автомобильно-дорожной академии СибАДИ. Омск: Изд-во СибАДИ, 2015. № 5(45). C. 106-113.
33. Сулавко А.Е., Еременко А.В., Борисов Р.В. Генерация криптографических ключей на основе голосовых сообщений// Прикладная информатика. М.:Изд-во НОУ ВПО МФПУ «Синергия», 2016. № 5. С.76-89.34. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем. СПб: Символ-плюс, 2010. 272 с.
35. Васильев В.И., Ложников П.С., Сулавко А.Е., Жумажанова С.С. Оценка идентификационных возможностей биометрических признаков от стандартного периферийного оборудования// Вопросы защиты информации. М.: Изд-во ФГУП «ВИМИ», 2016. №1. С. 12-20.
36. Vasilyev V.I., Sulavko A.E., Eremenko A.V., Zhumazhanova S.S. Identification potential capacity of typical hardware for the purpose of hidden recognition of computer network users. Proceedings of X International IEEE Scientific and Technical Conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), 15-17 November 2016. P. 1-5. DOI: 10.1109/Dynamics.2016.7819106.
37. Ложников П.С., Иванов А.И., Качайкин Е.И., Сулавко А.Е. Биометрическая идентификация рукописных образов с использованием корреляционного аналога правила Байеса// Вопросы защиты информации. М.: Изд-во ФГУП «ВИМИ», 2015. №3. С. 48-54.
38. Ivanov A.I., Lozhnikov P.S., Serikova Yu.I. Reducing the Size of a Sample Sufficient for Learning Due to the Symmetrization of Correlation Relationships Between Biometric Data. Cybernetics and Systems Analysis, 2016. Vol. 52(3). P. 379-385.
39. Сулавко А.Е., Еременко А.В., Жумажанова С.С., Бурая Е.В. Генерация ключевых последовательностей и верификация субъектов на основе двумерного изображения лица// Автоматизация процессов управления, 2017. № 1. С. 58-66.