Die zu Grunde gelegte Klasse von stochastischen Prozessen wurde von Hordijk und Van der Duyn Schouten unter dem Namen Markov decision drift processes und von Davis[1] unter dem Namen piecewise deterministic (Markov) processes eingeführt. Ihre Ihre Kontrolle wurde etwa auch von Dempster und Ye, Soner sowie Yushkevich [2] studiert. Die Bellman-Gleichung für die Wertefunktion lässt sich durch eine (nicht lineare) Integro-Differentialgleichung erster Ordnung beschreiben. Wegen mangelnder Regularität der Wertefunktion werden dabei auch schwache Lösungen wie Viskositätslösungen zugelassen. Hier soll für eine gewisse Teilklasse von stückweise deterministischen Prozessen die Existenz einer schwachen Lösung gezeigt werden, zu deren Formulierung lediglich der Begriff der absoluten Stetigkeit benutzt wird. Diese Form einer schwachen Lösung erweist sich als stark genug, um optimale Kontrollen über die Bellman-Gleichung zu erhalten. Darüberhinaus wird Wert auf schwache Beschränkheitsbedingungen gelegt, indem nur die lokale Beschränktheit der gegebenen Daten verlangt wird.
[1] | Davis, M.H.A., 1993. Markov Models and Optimization, Chapman&Hall,London |
[2] | Yushkevich, A.A., 1987. Bellman inequalities in Markov decision determinisic drift processes. Stochastics 23, 25.77. |
E-Mail: | schael@uni-bonn.de |
Homepage: | wiener.iam.uni-bonn.de/~schael/ |