Название: Постановка задачі оптимального стохастичного керування
Вид работы: реферат
Рубрика: Коммуникации и связь
Размер файла: 315.1 Kb
Скачать файл: referat.me-169354.docx
Краткое описание работы: 1. Загальні положення Позначатимемо – простір станів, Можливі керування є множиною припустимих керувань , яка у свою чергу є підмножиною простору керувань
Постановка задачі оптимального стохастичного керування
ПОСТАНОВКА ЗАДАЧІ ОПТИМАЛЬНОГО СТОХАСТИЧнОГО КЕРУВАННЯ
1. Загальні положення
Позначатимемо – простір станів,
,
.
Можливі керування є множиною припустимих керувань , яка у свою чергу є підмножиною простору керувань
:
,
.
Послідовність керуючих функцій ,
, записана у вигляді
(1),
називається стратегією керування.
Задача оптимального керування системою (1) полягає в пошуку такої послідовності функцій керування , що мінімізує цільовий функціонал системи за
кроків. Ця послідовність
називається оптимальною стратегією керування.
Визначення. Якщо кількість кроків, на яких досліджується поведінка системи, є скінченною, то задача називається задачею зі скінченним горизонтом рішення. Якщо ж ми розв’язуємо задачу на нескінченному часовому інтервалі (), то горизонт рішення є нескінченним.
Задача оптимального стохастичного керування з дискретним часом випливає із детермінованої задачі, якщо система функціонує за умов випадкових збурень . У цьому випадку функція (1), що визначає стан системи на кожному наступному кроці, залежить від поточного стану
, керування
і випадкових збурень
:
,
. (2)
Збурення є елементами деякого ймовірнісного простору
(де
– простір збурень,
–
-алгебра підмножин з
) і має розподіл
.
2 Критерії якості
Розглянемо спочатку критерії якості, які найчастіше використовуються в детермінованих дискретних задачах керування, а потім перейдемо до стохастичного випадку. Якщо на кожному кроці функціонування системи задана функція , що визначає витрати за один крок керування, то критерій якості руху матиме вигляд
. (3)
Величина , що називається коефіцієнтом дисконтування, визначає внесок витрат за всі попередні кроки на кожному поточному кроці.
Найчастіше критерій (3) використовується в тих випадках, коли необхідно розв’язувати задачі, пов'язані з витратами деяких видів ресурсів. Саме цей функціонал ми будемо використовувати надалі.
Крім критерію (3) розглядаються також критерії, які мінімізують горизонт системи і є аналогом часу руху для неперервних систем. У цьому випадку цільовий функціонал матиме вигляд
.
Також часто в дискретних задачах керування використовуються термінальні функціонали якості
або
,
де – заданий стан системи,
– кінцевий стан системи.
Оскільки в задачі оптимального стохастичного керування збурення випадкові, то може бути тільки апріорна інформація про них, наприклад, у вигляді функції розподілу, відомої повністю або частково. У цьому випадку якість процесу керування оцінюється за допомогою формули
,
яка дорівнює математичному сподіванню функції .
3 Види функцій керування стохастичною системою
Задача детермінованого керування відрізняється від свого стохастичного аналога тим, що в першій відсутні неконтрольовані фактори , і еволюція системи однозначно визначається обраним керуванням
. Отже, у задачі детермінованого керування для кожного початкового стану
можна заздалегідь вибрати послідовність оптимальних керувань
,
, …,
, застосування яких дає оптимальне значення функціонала
.
Для стохастичної системи в загальному випадку цього зробити не можна, оскільки система переходить зі стану в стан не тільки під дією керування ; на неї на кожному кроці також впливають випадкові величини
. Очевидно, що, по-перше, ці величини можуть так змінити траєкторію системи, що обране раніше за оптимальне керування
в момент його застосування вже таким не буде, і, по-друге, інформація, одержувана на кожному кроці про впливи
, що мали місце, може бути додатково використана для поліпшення якості керування (рис. 1).
Рисунок 1 – Еволюція стохастичної системи ( – заданийстан)
Отже, для розв’язання задач оптимального стохастичного керування доцільно використовувати стратегії , у яких
– функція минулих станів системи. У цьому випадку схема визначення оптимального керування на кожному кроці наступна. Якщо
– початковий стан системи, то за перше керування вибирається функція
. Якщо мали місце стани
, …,
і були задані керування
, …,
, то керування на
-му кроці вибирається як функція
, (
для всіх
). Отже, для вибору керування використовується вся інформація, що є в наявності. Описана стратегія керування є позиційною, оскільки керування визначається залежно від реалізованих позицій (станів) системи, на відміну від програмного керування, коли послідовність керувань визначається заздалегідь, до початку процесу керування, і є функцією часу.
Розглянемо окремі випадки.
Якщо ,
, то керування називається стаціонарним керуванням. Такі стратегії найпростіші, оскільки є одним і тим же вектором для всіх моментів часу.
Керування ,
, називається марковською позиційною стратегією (стратегією, кожний елемент якої залежить тільки від поточного стану системи).
Керування ,
, називається напівмарковською позиційною стратегією (стратегією, кожний елемент якої залежить тільки від поточного і початкового станів системи).
Марковські та напівмарковські позиційні стратегії використовуються найчастіше.
Зрозуміло, що в загальному випадку кінцевий стан системи , згідно з формулою (2)
,
, залежить від початкового стану
, керувань
і збурень
. Щоб переконатися в цьому, досить виразити в (2)
через
, потім
через
і т.д. Якщо ці перетворення можливо провести, то одержимо співвідношення
. Це означає, що різним реалізаціям випадкового збурення
для одного початкового стану
відповідатимуть різні оптимальні стратегії керування
.
4 Формальна постановка задачі оптимального стохастичного керування
Розглянемо систему (2) із цільовим функціоналом (3). Надалі, якщо інше не обговорено спеціально, будемо вважати, що оптимальні керування на кожному кроці позиційні: ,
і
,
.
За таких умов задача оптимального стохастичного керування полягає в пошуку оптимальної послідовності функцій керування , (тобто стратегії керування), що мінімізує сумарні витрати за увесь час функціонування системи.
Формальна постановка задачі оптимального стохастичного керування зі скінченним горизонтом у дискретному випадку має вигляд:
, (4)
. (5)
Розв’язання задачі оптимального стохастичного керування з нескінченним горизонтом полягає в пошуку послідовності керувань , які мінімізують сумарні витрати.
Формальна постановка задачі оптимального стохастичного керування з нескінченним горизонтом у дискретному випадку має вигляд:
, (6)
. (7)
Далі під час розв’язання задач оптимального керування вважатимемо, що границя у (6) існує для всіх і
.
Будемо розглядати задачі (4) – (5) і (6) – (7) у стаціонарному випадку, тобто припускатимемо, що простори станів і керувань і
, обмеження керування
, функція
і витрати
не змінюються при переході від кожного кроку до наступного. Якщо ж це не так, то задача є нестаціонарною. Нестаціонарна задача може бути зведена до стаціонарної за допомогою спеціальних методів, тому далі мова йтиме тільки про стаціонарні задачі.
Зупинимося детальніше на позначеннях, зроблених вище.
Визначення. Функція називається функцією витрат за
кроків при стратегії
в задачі зі скінченним горизонтом
. Аналогом цієї величини для задачі з нескінченним горизонтом є функція
– функція витрат при стратегії
.
Для фіксованого стану позначимо через
і
оптимальні витрати в цих задачах, тобто
,
.
Якщо останні співвідношення вірні для всіх , то функція
називається оптимальною функцією витрат за
кроків, а
– оптимальною функцією витрат.
Стратегія називається оптимальною при горизонті
в стані
, якщо
,
і оптимальною в стані , якщо
.
Стратегія називається оптимальною при горизонті
, якщо
. Це означає, що стратегія
доставляє оптимальне значення цільовому функціоналу при всіх
.
Аналогічно, стратегія називається оптимальною, якщо
. (8)
Стратегія називається рівномірно оптимальною при горизонті
, якщо стратегія
оптимальна при горизонті
для всіх
. Отже, якщо стратегія рівномірно оптимальна при горизонті
, то вона також оптимальна при горизонті
. Зворотне твердження в загальному випадку невірно.
Стратегія називається стаціонарною стратегією, якщо
.
Якщо у цьому випадку значення цільового функціонала в задачі оптимального стохастичного керування з нескінченним горизонтом отримано з використанням стаціонарної стратегії
, то результат позначають
. Отже, стаціонарна стратегія
у задачі з нескінченним горизонтом оптимальна, якщо
. Тут
– оптимальне значення цільового функціонала задачі.
Розв’язання будь-якої задачі оптимального стохастичного керування здійснюється за шість етапів:
1. Змістовна постановка задачі.
2. Побудова моделі об'єкта керування, що включає вибір векторів станів і керувань, просторів станів і керувань, вектора і простору випадкових збурень; побудову функції витрат, що визначається метою керування.
3. Формальна постановка задачі.
4. Вибір і обґрунтування методу розв’язання задачі.
Обчислення оптимальної стратегії керування одним з методів.
6. Аналіз отриманих результатів.
5 Алгоритм розв’язання задачі оптимального стохастичного керування
Процедура пошуку оптимальних позиційних стратегій є досить складною задачею. Одним з головних питань, вирішення якого дозволяє у значній мірі полегшити цю процедуру, є наступне: чи можна обмежитися пошуком оптимальних стратегій у класі стаціонарних або марковских стратегій? Якщо це можливо, то структура керування значно спрощується, і, крім того, зменшується об'єм оброблюваної інформації: не потрібно запам'ятовувати керування , …,
, попередні стани
, …,
і діставати залежність поточного керування
від усіх цих величин. У цьому випадку для розв’язання дискретних задач оптимального керування зі скінченним горизонтом найчастіше використовується алгоритм, заснований на методі динамічного програмування, запропонованого Беллманом. Суть методу полягає в наступному:
, (9)
(10)
де математичне сподівання береться за мірою . Формули (9) – (10) є стохастичним аналогом детермінованого алгоритму методу динамічного програмування.
Величина – це оптимальні витрати, пов'язані з функціонуванням системи, за останні
кроків, за умови, що перед першим із цих кроків система перебувала в стані
. Стратегія
, кожний елемент якої
доставляє оптимальне значення (10) для всіх
,
, є оптимальною стратегією для кожного
. Оптимальна функція витрат
даної задачі визначається на
-му кроці і дорівнює
.
Для розв’язання задач оптимального стохастичного керування з нескінченним горизонтом, як правило, застосовуються чисельні методи, які дозволяють на кожній ітерації одержувати наближення до оптимального керування і оптимальної функції витрат. У цьому випадку можна показати, що оптимальна функція витрат задовольняє рівнянню Беллмана
.
6 Формулювання задачі оптимального керування в термінах відображень
Сформулюємо задачу оптимального стохастичного керування (4) – (5), а також алгоритм динамічного програмування за допомогою відображення , яке задане формулою:
.
Розглянемо оператори і
, які відображують множину функцій, що приймають дійсні значення на
, в себе:
,
,
.
За таких позначень задачу оптимального стохастичного керування (4) – (5) можна записати у вигляді:
,
,
де ,
, а
– суперпозиція операторів
(нагадаємо, що суперпозицією відображень
і
називається відображення
таке, що
,
).
Алгоритм динамічного програмування (9) – (10) у термінах відображень можна записати у такий спосіб:
,
,
звідки випливає, що , де
–
-кратний добуток оператора
на себе.
Задачу з нескінченним горизонтом (6)-(7) у термінах відображень
можна сформулювати в такий спосіб.
,
.
Функціональне рівняння Беллмана тепер буде еквівалентно рівності
,
.
Похожие работы
-
Методи діагностування мікропроцесорних систем керування
Методи діагностування мікропроцесорних систем керування Існують різноманітні методи діагностування систем керування, які можна навести у вигляді інформаційної структури (рис.1). З одного боку, виникають питання пов`язані з організацією проведення діагностичних робіт, з другого, пов`язані із забезпеченням необхідної для цього інформації (документації).
-
Вибір оптимальних варіантів систем методами векторної оптимізації
Початкові етапи проектування оптимальних систем базуються на основних положеннях теорії векторної оптимізації, що визначає правила вибору оптимальних проектних рішень. Особливості та проблеми постановки задачі з урахуванням сукупності показників якості.
-
Всенаправлений азимутальний радіомаяк VOR-4000
Принцип роботи радіомаяка VOR-4000. Схема розміщення апаратури радіомаяка. Основні технічні характеристики радіомаяка VOR-4000: точність вимірювання азимута; частота модуляції та сигналу розпізнавання. Функціональна схема одного комплекту радіомаяка.
-
Системи та засоби відображення інформації
Забезпечення індикації інформації навігаційних систем літака, електронні пілотажні прилади: пульт керування, генератор символів, метеолокатор, перемикач вибору режиму; типова індикація електронного директорного авіагоризонту і горизонтального положення.
-
Теорії лінійних одноконтурних автоматичних систем регулювання
Визначення перехідної функції об’єкта керування. Побудова кривої розгону об’єкта. Обчислення і побудова комплексно-частотної характеристики (КЧХ) об’єкта. Побудова КЧХ розімкнутої автоматичної системи регулювання. Запас сталості за модулем і фазою.
-
Постановка задачі оптимального керування
Теорія оптимального керування; об’єкт як система, що функціонує під впливом певного фактора, здатного регулювати її еволюцію. Крайові умови задачі оптимального детермінованого керування. Числові характеристики критеріїв якості. Задачі з дискретним часом.
-
Оптимальність у системах керування
1. Умови оптимальності у неавтономних системах керування У загальному випадку неавтономної системи права частина закону руху й підінтегральна функція цільового функціонала залежать явно від часу
-
Мікросхеми з можливістю перепрограмування їх функцій
Особливості функціонування центрального мікропроцесора та принципи організації шин у одно- та багатопроцесорному режимі за допомогою ВІС арбітра шини. Підвищення надійності зв'язку, систем технічної діагностики в системах керування комплексами зв'язку.
-
Окремі випадки задач оптимального стохастичного керування
1. Зовнішній інтеграл Функції можуть бути довільними, а математичні сподівання можна обчислювати, якщо як функція від є вимірною. Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція
-
Зміст діагностичних карт первинних перевірок вузлів і підсистем
Зміст діагностичних карт первинних перевірок вузлів і підсистем Перш ніж приступити до діагностування системи керування ДВЗ, слід виконати первинні перевірки за діагностичними картами ДК-А. Результати первинних перевірок дозволяють уникнути зайвих та помилкових втручань при локалізації несправності, пов’язаних з непрацездатністю системи діагностики та врахувати симптоми та коди несправностей, що виникли на час проведення діагностичних операцій.