Нейроеволюційні методи обробки інформації та управління



Скачати 127.2 Kb.
Дата конвертації26.03.2016
Розмір127.2 Kb.

РЕФЕРАТ


циклу наукових праць на тему

«НЕЙРОЕВОЛЮЦІЙНІ МЕТОДИ ОБРОБКИ ІНФОРМАЦІЇ



ТА УПРАВЛІННЯ»

кандидата технічних наук Безсонова Олександра Олександровича

висунутого на здобуття щорічної премії Президента України для молодих вчених за 2014 рік
Актуальність теми. Про актуальність циклу наукових праць свідчить те, що штучні нейронні мережі (ШНМ) отримують в останній час все більше поширення і являють собою теоретичну базу нейрокомп’ютерів. ШНМ переконливо довели свою ефективність при вирішенні різноманітних задач адаптивної обробки інформації, таких як апроксимація нелінійних функцій, класифікація, управління, фільтрація сигналів та зображень тощо, в яких в тому або іншому вигляді використовується апроксимація складних нелінійних залежностей. Серед існуючої на сьогоднішній час великої кількості нейромережевих структур для вирішення зазначених задач в основному використовуються багатошаровий персептрон (БШП), радіально-базисні (РБМ) та нейро-фаззі (НФМ) мережі, а також мережа СМАС – Cerebellar Model Articulation Controller (церебральна модель артикуляційного контролера).

Але, не дивлячись на всі ці переваги, ШНМ і по цей час знаходять досить обмежене практичне застосування у прикладних системах. Це обумовлено тим, що на даний час не існує єдиної чи хоча б достатньо ефективною методології визначення структури мереж, тому вибір топології мережі є емпіричним, заснованим на досвіді проектувальника. В роботі автор пропонує обирати структуру мережі шляхом вирішення задачі багатокритеріальної оптимізації (Парето-оптимізації) та здійснювати її адаптацію за допомогою еволюційних методів, зокрема генетичного алгоритму, що дозволяє значно розширити сферу використання ШНМ при вирішенні практичних задач.



Мета роботи. Метою роботи є розробка нейромережевих методів та засобів для підвищення ефективності обробки інформації в реальному часі шляхом синтезу обчислювальних структур, що дозволять зменшити апаратні витрати при збереженні або покращанні функціональних характеристик, на основі ШНМ.

Головним науковим результатом, отриманим Безсоновим О.О., є подальший розвиток теорії штучних нейронних мереж, а також теорії інтелектуальної обробки різноманітної інформації в реальному часі (зокрема фільтрації, обробки та стиснення графічної та відеоінформації, зображень тощо). Отримані результати теоретичних досліджень реалізовано за допомогою нових процедур, які забезпечують високу якість адаптивної обробки інформації. Розроблені процедури дозволяють розширити спектр використання нейромережевих технологій, а також розробити нові різноманітні системи адаптивної обробки інформації. У межах головного результату отримані інші наукові результати:



  1. Вперше запропоновано метод кодування інформації та вибору виду базисних функцій у штучній нейронній мережі СМАС, який, на відміну від існуючих, надає можливість обчислення часткових похідних від функціоналу похибки за управляючим сигналом, що дозволяє використовувати цю мережу в задачах непрямого нейрокерування без еталонної моделі.

  2. Вперше розроблено багатокрокові проекційні методи навчання нейронних мереж, які, на відміну від методу найменших квадратів, потребують значно меншого обсягу інформації, необхідної для навчання мережі, та розроблено їх рекурентні форми, що забезпечує істотне скорочення процесу навчання.

  3. Вперше запропоновано метод навчання нейронної мережі СМАС при її використанні в задачах ідентифікації та керування нелінійними динамічними об’єктами, який, на відміну від існуючих, використовує різні базисні функції по різних каналах, що забезпечує підвищення швидкодії системи керування.

  4. Вперше запропоновано використання асиметричних функціоналів якості та розроблено на їх основі алгоритми навчання ШНМ, що дозволяє отримувати якісні моделі в умовах негаусовських завад та підвищити ефективність побудови економіко-математичних моделей керування запасами надійності тощо.

  5. Набув подальшого розвитку еволюційний підхід до адаптивного визначення оптимальної структури нейронних мереж та їх параметрів, що підвищує ефективність ШНМ при їх використанні для оптимізації нестаціонарних об’єктів в умовах відсутності інформації щодо властивостей середовища, в якому об’єкт функціонує.

  6. Удосконалено моделі обчислювальних засобів, що реалізують ієрархічні нейронні мережі у задачах стиснення та фільтрації зображень, що дозволило значно зменшити апаратні витрати та обсяг пам’яті для зберігання зображень, а також зменшити час їх обробки.

  7. Набув подальшого розвитку метод гешування інформації, який, на відміну від існуючих, забезпечує випадковий доступ до комірок пам’яті нейронної мережі, що дозволяє значно зменшити кількість виникаючих геш-колізій та покращити апроксимуючі властивості нейронних мереж при використанні гешування.

Практична цінність отриманих результатів. Наукові результати роботи є внеском у теорію штучних нейронних мереж, а також у теорію керування та ідентифікації. Практичне значення полягає в тому, що отримані результати теоретичних досліджень реалізовано за допомогою нових процедур, які забезпечують високу якість адаптивної обробки інформації. Отримані процедури дозволяють розширити спектр використання нейромережевих технологій, а також розробити нові різноманітні системи адаптивної обробки інформації.

Запропоновані в наукових працях математичні моделі були використані:

 у Науково-дослідному комплексі "Прискорювач" Національного Наукового Центру "Харківський фізико-технічний інститут" (м. Харків) при розробці системи керування прискорювачем електронів;

 на Побузькому феронікелевому комбінаті при розробці інфрачервоної телевізійної системи вимірювання температурних полів трубчастих печей, що обертаються. Використання запропонованих підходів, математичних моделей та методів забезпечує ефективне керування процесом випалювання руди, що дозволяє збільшити прибутковість виробництва від 10% до 25% (що складає приблизно 120 млн. грн), та забезпечує підвищення терміну експлуатації футерівки та кожуху печі у середньому до 15% (що еквівалентно економії у 50 млн. грн);

- на Кириківському цукровому заводі при розробці математичного, програмного і технічного забезпечення АСУ ТП при виробництві цукрової продукції;

- у навчальному процесі кафедри електронних обчислювальних машин Харківського національного університету радіоелектроніки, зокрема у циклі лабораторних робіт з дисциплін: "Методи та засоби обчислювального інтелекту" та "Інтернет технології"; у курсі лекцій і практичних занять з дисципліни "Нейронні обчислювальні структури".



Апробація результатів роботи. Основні результати дисертаційної роботи доповідалися й обговорювалися на 8-ому та 9-ому Міжнародних молодіжних форумах "Радиоэлектроника и молодежь в XXI веке" (Харків, 2004 р.), на 10-й, 11-й та 12-й Міжнародних конференціях по автоматичному управлінню «Автоматика-2004», «Автоматика-2005», «Автоматика-2009» , «Автоматика-2010» (Київ, 2004 р.; Харків, 2005 р., Чернівці, 2009 Харків, 2010), на 10-й Міжнародних конференціях "Теория и техника передачи, приема и обработки информации" (Туапсе-Харків, 2004 р.), на 5-й та 6-й Міжнародних науково-практичних конференціях «Современные информационные и электронные технологии» (Одеса, 2004 р., 2005 р.), на Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій» (Євпаторія, 2006 р.), на 48-му, 49-му та 52-му Міжнародних наукових колоквіумах (Ilmenau, Germany, 2003, 2004, 2007), на 2-ому Міжнародному радіоелектронному форумі «Прикладная радиоэлектроника. Состояние и перспективы развития» МРФ-2005 (Харків, 2005 р.), на 1-й та 2-й Міжнародних наукових конференціях „Современные информационные системы. Проблемы и тенденции развития” (Харків, 2006 р., 2007 р.), на 7-й Міжнародній науково-технічній конференції „Проблемы информатики и моделирования” (Харків, 2007 р.), на 1-й Міжнародній науковій конференції „Электронная компонентная база. Состояние и перспективы развития” (Харьков-Судак, 2008), Міжнародній науково-технічній конференції „Автоматизация: проблемы, идеи, решения” (Севастополь, 2009, 2010, 2011, 2012, 2013), Міжнародній науково-технічній конференції „Сучасні методи, інформаційне, програмне та технічне забезпечення систем управління організаційно-технологічними комплексами” (Київ, 2009), Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту» (Євпаторія, 2009), 1-ій Міжнародній науково-технічній конференції „Інформаційні технологіі в навігаціі і управлінні: стан та перспективи розвитку” (Київ, 2010, 2011), Міжнародній науково-технічній конференції «Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління» (Харків-Київ, 2010, 2011), 1-ій Міжнародній науково-технічній конференції „Обчислювальний інтелект: результати, проблеми, перспективи” (Черкаси, 2011), 2-ій Міжнародній науково-практичній конференції «Информатика, математическое моделирование, экономика» (Смоленск, 2012), 3-ій Міжнародній науково-технічній конференції «Современные направления развития информационно-коммуникационных технологий и средств управления» (Полтава-Белгород-Харьков-Киев-Кировоград, 2013), IX Міжнародній конференції «Стратегия­ качества в промышленн­ости и образовани­и» (Варна (Болгария), 2013).

В роботі проаналізовано стан проблеми адаптивної обробки інформації у задачах ідентифікації та управління нелінійними динамічними об’єктами, стиснення та фільтрації зображень. Розглянуто основні принципи побудови таких систем. Проведено аналіз існуючих архітектур ШНМ, які використовуються для розв’язання зазначених задач. Розглянуто біологічну модель мозочка, математичний аналог якої є основою ШНМ СМАС (рис. 1), принципи побудови та функціонування цієї мережі. Розроблено метод кодування інформації та вибору виду базисних функцій у ШНМ СМАС, який дозволяє використовувати цю мережу в задачах непрямого нейрокерування без еталонної моделі.

Відмінною особливістю СМАС є використання в ній спеціального кодування (1), що дозволяє різко зменшити обсяг пам’яті, необхідний для зберігання інформації, що обробляється.

Кодування інформації полягає у тому, що кожному - вимірному вхідному вектору ставиться у відповідність n-вимірний вектор асоціацій , який формується шаром асоціативних нейронів, елементи якого можуть набувати значення з інтервалу [0, 1]. При цьому тільки елементів даного вектору мають відмінні від нуля значення, тобто тільки елементів пам’яті є активними. Приклад кодування трьохвимірного вхідного сигналу , тобто N=3, за допомогою мережі СМАС, наведено на рис.2.




Рис.1 – Структура нейронної мережі СМАС
Вибір базисних функцій (БФ) шару L1 (рис.1) істотно впливає на апроксимуючі властивості мережі СМАС. У зв’язку з цим в роботі запропоновано використання тригонометричних функцій.

Рис. 2 – Приклад кодування 3-ох вимірного сигналу


При використанні БФ із формою, що відрізняється від прямокутної, постає проблема вибору схеми кодування інформації, яка однозначно визначається взаємним розташуванням нейронів вхідного шару, що належать до різних ступенів квантування. У роботі показано, що при розв’язанні задач ідентифікації (апрокси-мації) та управління найефектив-нішою є схема кодування з випадковим переставленням шарів нейронів у матрицях квантування.

При переході від ШНМ до ЕШНМ (рис.3) для всіх типів мереж використовуються загальні еволюційні процедури (ініціалізація популяції, оцінка популяції, селекція, схрещування, мутації), а відмінності полягають лише в способі кодування структури і параметрів тієї чи іншої ШНМ у вигляді хромосоми. Схема роботи такого еволюційного алгоритму налаштування ШНМ наведена на рис.4.



Рис. 3 – Структура ЕШНМ



Рис. 4 – Схема еволюційного алгоритму настройки ШНМ

На рис.5 показані приклади БП і РБМ, формати хромосом і відповідність між параметрами мереж і хромосомами (подання їх параметрів в хромосомі). Слід зазначити, що довжина хромосоми залежить від розмірності об'єкта, що досліджується, та максимально допустимої кількості нейронів.
Як видно з рисунків, кожна хромосома складається з генів, в яких зберігається інформація про відповідні параметри мережі.

Розглянуто задачу кодування (стиснення) зображень і запропоновано для її розв’язання метод, що базується на ієрархічній ШНМ, яка складається з послідовно з’єднаних шарів, кожен з яких виділяє та апроксимує визначену частотну складову вихідного зображення. На рис. 6 наведено приклад кодування зображень за допомогою такої мережі. Еталонне зображення розміром 100х200 пікселів показано на рис.6–а). Результат апроксимації цього зображення мережею з ρ1=50 ступенями квантування наведено на рис.6-б). У подальших підмережах кількість ступенів квантування зменшувалась, а частота сигналу, що апроксимується, зростала. Зображення, отримане внаслідок цього, наведене на рис.6-д). При цьому для зберігання усіх параметрів мережі, які налаштовуються, потрібно 7250 комірок пам’яті, замість необхідних для зберігання еталонного зображення 20000 комірок, тобто обсяг пам’яті, що потребується для збереження зображення, зменшився у 2,8 рази.



Рис. 5 – Формати хромосом і відповідність між параметрами мереж БП і РБМ



а) б) шар 1, ρ1=50 в) шар 2, ρ2=20

г) шар 3, ρ3=10 д) шар 4, ρ4=5



Рис. 6 – Кодування зображення за допомогою ієрархічній ШНМ

СПИСОК НАУКОВИХ ПРАЦЬ, ЩО ВХОДЯТЬ ДО ЦИКЛУ

  1. Руденко О.Г. Хеширование информации в нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Управляющие системы и машины. – 2004. – №5. – С. 67–73.

  2. Руденко О.Г. О выборе базисных функций в нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – 2004. – № 2. – С. 143–154.

  3. Руденко О.Г. Адаптивное управление нелинейными объектами с помощью нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – 2004. – № 5. – С.16–30.

  4. Бессонов А.А. Применение нейронной сети СМАС при решении задач обработки изображений и ее аппаратная реализация / А.А. Бессонов, В.А. Бобух, О.Г. Руденко // Бионика интеллекта. – 2004. – № 1 (61). – C. 49–55.

  5. Руденко О.Г. Фильтрация изображений с помощью нейронной сети СМАС / А.А. Бессонов, В.А. Бобух, О.Г. Руденко // Вестник Херсонского государственного технического университета. – 2004. – № 1(19) . – C. 378–384.

  6. Rudenko O.G. Echtzeit-Identifikation nichtlinearer instationärer Systeme mit RBF-Netzwerken / O.G. Rudenko, A.A. Bessonov, P. Otto, J. Wernstedt // at - Automatisierungstechnik. – 2004. – Vol. 52. – № 5. – S. 209–217.

  7. Rudenko O.G. On Selecting Basis Functions in CMAC Neural Network / O.G. Rudenko, A.A. Bessonov // Journal of Automation and Information Sciences. – Issue 4. – 2004. – P. 53-62.

  8. Руденко О.Г. Нейронная сеть СМАС и ее применение в задачах идентификации и управления нелинейными динамическими объектами / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. – 2005. – №5. – С. 16–28.

  9. Руденко О.Г. Адаптивное управление многомерными нелинейными объектами на основе радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. – 2005. – № 2. – С. 168–176.

  10. Бессонов А.А. Аппаратная реализация нечёткой сети СМАС и ее применение для задач сжатия изображений / А.А. Бессонов, В.А. Бобух, О.Г. Руденко // Автоматика. Автоматизация. Электротехнические комплексы и системы. – 2005. – № 2 (16). – С. 47–52.

  11. Руденко О.Г. О выборе схемы кодирования информации в нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. – 2007. – № 3. – С. 18–25.

  12. Бессонов А.А. О нейросетевом подходе к восстановлению многомерных функций при наличии помех измерений / А.А. Бессонов, А.В. Островерхий, А.А. Шамраев, Н.Н. Островерхая // Системы обработки информации. – 2007. – № 9 (67). – С. 33–41.

  13. Rudenko O.G. CMAC Neural Network and Its Use in Problems of Identification and Control of Nonlinear Dynamic Objects / O.G. Rudenko, A.A. Bessonov // Cybernetics and Systems Analysis. – Volume 41, Issue 5 (September 2005). – Pp. 647–658.

  14. Руденко О.Г. Адаптивная настройка параметров нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов, А.В. Островерхий // Вестник Херсонского государственного технического университета. – Херсон. – №1(30) . – 2008. – С.146-151.

  15. Руденко О.Г. Аппроксимация нелинейных функций с помощью робастных радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Проблеми інформаційних технологій. – №2. – 2009. – C. 46-55.

  16. Руденко О.Г. Робастное обучение вэйвлет-нейросетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – № 5. – 2010. – C. 66-79.

  17. Руденко О.Г. Устойчивое обучение радиально-базисных сетей с ограниченной точностью / О.Г. Руденко, А.А. Бессонов, C.О. Руденко // Вестник ХНТУ. – №2(38) . – 2010. – C. 130-134.

  18. Бессонов А.А. Оценивание параметра масштаба при робастном обучении искусственных нейронных сетей / А.А. Бессонов, C.О. Руденко // Проблеми інформаційних технологій. – №2 (008). – 2010. – С.81-84.

  19. Руденко О.Г. Аппроксимация гауссовских базисных функций в задаче адаптивного управления нелинейными объектами / О.Г. Руденко, А.А. Бессонов, А.С. Ляшенко, Р.А. Сунна // Кибернетика и системный анализ. – №1. – 2011. – С.3-13.

  20. Rudenko O. Function Approximation Using Robust Radial Basis Function Networks / O. Rudenko, O. Bezsonov //Journal of Intelligent Learning Systems and Applications. – №3. – 2011. – P. 17-25.

  21. Руденко О.Г. Робастное обучение радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. – №6. – 2011. – С.38-46.

  22. Руденко О.Г. М-обучение радиально-базисных сетей с использованием асимметричных функций влияния / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – № 1. – 2012. – С. 79-93.

  23. Бессонов А.А. Многокритериальная нейроэволюционная оптимизация нелинейных функций / А.А. Бессонов // Системи обробки інформації. – №9(107) . – 2012. – С. 5-9.

  24. Бессонов А.А. Идентификация нелинейных нестационарных объектов с помощью эволюционного многослойного персептрона / А.А. Бессонов, C.О. Руденко // Вестник ХНТУ. – №1(44). – 2012. – С.117-121.

  25. Руденко О.Г. Идентификация нелинейных нестационарных объектов с помощью эволюционирующей радиально- базисной сети / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – №4. – 2012. – С.5-14.

  26. Бессонов А.А. Обучение радиально-базисных сетей с помощью генетических алгоритмов с адаптивной мутацией / А.А. Бессонов // Системи обробки інформації. – №3(101) . – 2012. – С.177-180.

  27. Бессонов А.А. Применение робастных фитнесс-функций при оценивании параметров нелинейных объектов с помощью эволюционирующей радиально-базисной сети / А.А. Бессонов // Системи управління, навігації та зв’язку. – №3(23). – 2012 . – С.51-56.

  28. Руденко О.Г. Робастная идентификация нелинейных объектов с помощью эволюционирующей радиально- базисной сети / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. – № 2. – 2013. – С.15-26.

  29. Бессонов А.А. Робастная многокритериальная идентификация нелинейных объектов с помощью сетей прямого распространения / А.А. Бессонов, C.О. Руденко // Вестник ХНТУ. – №1(46) . – 2013. – С.142-145.

  30. Руденко О.Г. Нейросетевые методы сжатия изображений / О.Г. Руденко, А.А. Бессонов, М.С. Сныткин, С.В. Мирошниченко, С.О. Руденко // Коллективная монография «Наукоемкие технологии в инфокоммуникациях: обработка и защита информации», Харьков: СМИТ, 2013, 396 с.

  31. Руденко О.Г. Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих РБС / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. – №5. – 2013. – С. 22-32.

  32. Руденко О.Г. Использование нормализующей компоненты при нейросетевом сжатии изображений / О.Г. Руденко, А.А. Бессонов, Р.В. Бобнев // Управляющие системы и машины. – №5. – 2013. – С. 27-31.

Докторант кафедри електронних

обчислювальних машин

Харківського національного університету

радіоелектроніки, кандидат технічних наук,



доцент Безсонов О.О.




База даних захищена авторським правом ©refs.in.ua 2016
звернутися до адміністрації

    Головна сторінка