Verfahren zum Konfigurieren eines Steuerungsagenten für ein Technisches System sowie Steuereinrichtung

Details

Veröffentlichungs-Nr.

EP3940596

Aktenzeichen

EP20185973

Anmeldetag

15. Juli 2020

Veröffentlichung

15. Oktober 2025

Erteilung

15. Oktober 2025

Rechtsraum

EP

IPC

G06N3/092G06N3/0455// G06N3/047G06N3/0475

Abstract

Zum Konfigurieren eines Steuerungsagenten (POL) werden vorgegebene Trainingsdaten eingelesen, die Zustandsdatensätze (S), Aktionsdatensätze (A) sowie resultierende Performanzwerte (R) des technischen Systems (TS) spezifizieren. Anhand der Trainingsdaten wird ein datenbasiertes Dynamikmodell (NN) darauf trainiert, anhand eines Zustandsdatensatzes (S) und eines Aktionsdatensatzes (A) einen resultierenden Performanzwert (R) zu reproduzieren. Ferner wird ein Aktionsbewertungsprozess (VAE) darauf trainiert, anhand eines Zustandsdatensatzes (S) und eines Aktionsdatensatzes (A) nach Vornahme einer Informationsreduktion den Aktionsdatensatz (A) zu reproduzieren, wobei ein Reproduktionsfehler (DR, D0, D1) ermittelt wird. Zum Training des Steuerungsagenten (POL) werden dem trainierten Dynamikmodell (NN), dem trainierten Aktionsbewertungsprozess (VAE) sowie dem Steuerungsagenten (POL) Trainingsdaten zugeführt. Dabei werden vom trainierten Dynamikmodell (NN) ausgegebene Performanzwerte (R1, R2) in eine vorgegebene Performanzfunktion (P) eingespeist. In die Performanzfunktion (P) werden weiterhin vom trainierten Aktionsbewertungsprozess (VAE) ausgegebene Reproduktionsfehler (D0, D1) als performanzverringernde Einflussgrößen eingespeist. Damit wird der Steuerungsagent (POL) darauf trainiert, anhand eines Zustandsdatensatzes (S) einen die Performanzfunktion (P) optimierenden Aktionsdatensatz (A) auszugeben.

Anmelder

Firma

Siemens Aktiengesellschaft

Land

🇩🇪 Deutschland

Fachgebiete