Ein Algorithmus zum Auffinden einer günstigen Strategie für das berühmte Gefangenendilemma (s.u.) soll entwickelt werden.
In der Literatur wird eine Vielzahl von teilweise klassischen Strategien beschrieben:
Die eiserne Regel: Gestehe immer oder
Tit-for-tat: Nach einer Anfangsphase, in der der Angeklagte immer gesteht, antwortet er mit der gleichen Handlung wie der Gegner.
sind zwei der bekanntesten Vertreter. Tit-for-tat galt lange Zeit als
die erfolgreichste Strategie. Im Jahre 2004, in der ``20th anniversery
iterated prisoner's dilemma competition'' zeigte ein Team der
Universität Southampton die Überlegenheit einer neuen Strategy.
Im Rahmen der Projektgruppe soll mittels evolutionärer Verfahren eine
Strategy entwickelt werden, die internationalen Vergleichen
standhält.
Das Gefangenendilemma ist ein klassisches Problem aus der
Spieltheorie. Es wurde zur Modellierung und Simulation in der
Ökonomie, Biologie, Mathematik, Informatik und Politikwissenschaft
eingesetzt [Wie02].
Die Basisvariante des Problems ist einfach zu beschreiben: Zwei
Verdächtige werden verhaftet und getrennt vernommen. Jeder von beiden
wird vor die gleiche Wahl gestellt: zu leugnen oder zu gestehen.
Falls nur ein Angeklagter gesteht und damit den anderen belastet,
kommt er ohne Strafe davon und der andere wird mit 5 Jahren Haft
bestraft. Leugnen beide, dann werden sie jeweils für 2 Jahre
eingesperrt. Gestehen beide, so erhalten sie eine Strafe von 4
Jahren. Die Situation wird in Tabelle dargestellt.
Tabelle:
Matrix für das Gefangenendilemma.
A/B
leugnen
gestehen
leugnen
2/2
5/0
gestehen
0/5
4/4
Auf den ersten Blick erscheint ein Geständis günstiger zu
sein.
Interessant wird das Spiel, wenn es wiederholt durchgeführt wird,
das sogenannte iterierte Gefangenendilemma (iterated prisoner dilemma,
IPD). Im Gegensatz zum einfachen Gefangenendilemma erlaubt es nun der
Faktor Zeit, auf die Entscheidungen eines Konkurrenten zu einem
weitaus späteren Zeitpunkt durch Bestrafung (Defektion) oder Belohnung
(Kooperation) zu reagieren. Die Frage nach der besten Strategie kann
nur unter Berücksichtigung der anderen Strategien beantwortet werden.
Eigenschaften guter Strategien werden im allgemeinen unter den 4 folgenden Punkten zusammengefasst [Axe84]:
Sei nicht neidisch,
defektiere nicht als erster,
erwidere sowohl Kooperation als Defektion,
sei nicht zu raffiniert.
Wenn auch die Forderung nach einer möglichst einfachen Strategie nicht
immer sofort einsichtig sein mag, so ist sie nicht zuletzt im iterierten
Gefangenendilemma sinnvoll. Einfache Strategien ermöglichen es dem
Konkurrenten sich an diese anzupassen und so zu einer evtl.
Kooperativen besten Lösung zu kommen.
Die Aufgabe besteht nun darin, die Strategie des anderen
herauszufinden, um dadurch die eigene zu optimieren.
Es ist das ambitionierte Ziel dieser Projektgruppe eine Strategie zu
entwickeln, welche im internationalen Vergleich bestehen kann.
Metaheuristiken
In einer ersten Studie sollen Metaheuristiken als universelle
Problemlöser benutzt werden.
Metaheuristiken sind allgemeine Strategien, die
andere Heuristiken bei der Suche nach optimalen Lösungen
unterstützen [OL96,Stue99,VMOR99]. Ihr Hauptanwendungsgebiet sind extrem schwierige
Aufgabenstellungen. Als Charakteristikum metaheuristischer Verfahren kann oftmals
die Kombination lokaler Suchverfahren mit globalen gefunden werden, um mit Hilfe der
gewonnenen Informationen möglichst schnell ein gutes lokales Optimum
zu erreichen. Die Wahl der zu kombinierenden
Strategien stellt hierbei einen Balanceakt zwischen der Ausnutzung
der gefundenen Informationen und der Durchmusterung des
Suchraums dar. Ein erster Klassifikationsversuch, welcher die
bekanntesten metaheuristischen Verfahren umfasst, ist in [BR01] zu
finden. Abhängig von der Sichtweise
unterteilen sie die Verfahren entweder in:
Naturinspirierte vs. nicht naturinspirierte Verfahren oder
Populationsbasierte vs. Einpunkt-Suche oder
Dynamische vs. statische Zielfunktionsbehandlung oder
Ein vs. verschiedene Nachbarschaftsstrukturen oder
Speicherbasierte Methoden vs. speicherlose Methoden.
Gemeinsam ist jedoch allen Ansätzen, dass sie flexibel auf die
vorhandenen Problemstellungen angepasst werden können.
Die Integration problemspezifischen Bereichswissens in metaheuritische
Verfahren stellt ein aktuelles Forschungsgebiet auf dem Gebiet des
Evolutionary Computation (EC) dar. Dieser Anpassungprozess kann sich
auf alle Komponenten einer Heuristik erstrecken. Den Anfang können
beispielsweise die verschiedenen Repräsentationsmöglichkeiten einer
Problemstellung innerhalb einer Heuristik bilden. Heuristische
Verfahren, wie z.B. die Evolutionären Algorithmen verwenden oftmals
Standardrepräsentationen. Traditionelle Vertreter dieser Verfahren
sind z.B. die Genetischen Algorithmen mit ihrer traditionell binären
Darstellung von Lösungen oder die Evolutionsstrategie [BeSw02], welche auf
einem reelwertigen Lösungsvektor operiert. Oftmals ist jedoch eine
kanonische Abbildung praktischer oder theoretischer Aufgabenstellungen
auf die Standardrepräsentationen nicht möglich. Der Entwurf
neuer problemspezifischer Repräsentationen stellt somit den ersten
Schritt hin zu einer problemspezifischen Heuristik dar.
Auf diesem Weg zu einem problemspezifischen Algorithmus rücken in
neuester Zeit zusätzlich, die in solchen Heuristiken üblicherweise verwendeten
Operatoren zur Variation und Auswahl guter Lösungen in den
Vordergrund. Durch die Berücksichtigung zusätzlicher Merkmale der zu
bearbeitenden Aufgabe oder die gezielte Kombination mehrerer
Heuristiken zu einer evtl. besseren Metaheuristik soll der Schritt
von einer für eine breit spezifizierten Problemklasse formulierten
Heuristik zu einer problemspezifischen gegangen werden.
Anlässlich des 20. Geburtstags des Gefangenendilemmas ist eine Reihe von internationalen Wettbewerben geplant.
Der erste fand im Juli 2003 während der Konferenz ``Congress of
Evolutionary Computation'' statt, ein weiterer ist für 2005 geplant.
Momentan existieren vier Problemstellungen für den Wettbewerb:
Wiederhole das Originalexperiment.
Untersuche die Problemstellung unter Rauschen.
Entwickle eine Strategie für ein ``multi-player'' und ``multiple-choice'' IPD.
Wie 1., aber jeder Teilnehmer darf nur eine Strategie angeben.
Das Hauptziel dieser Projektgruppe ist die Entwicklung eines
Algorithmus zur Lösung der zweiten und dritten
Aufgabenstellung. Wünschenswert hierbei ist die zusätzliche
Teilnahme an einem Wettbewerb, welche im Rahmen von internationalen
Konferenzen immer wieder angeboten wird.
Als Minimalziel wird der konzeptionelle Entwurf, die Implementierung
und Dokumentation von Algorithmen zur Optimierung des skizzierten
Problemstellung erachtet. Als Grundlage hierfür sollen existierende
metaheuristische Verfahren herangezogen und verglichen werden.
Das erste Treffen wird am 9.2.2005 um 10:15 Uhr in der Joseph-von-Fraunhofer-Str. 20
in Raum 2.54 stattfinden. Dies ist der Beginn der
Vorbereitungsphase, in der die Themen- und Aufgabenverteilung stattfindet.
Daran schließt sich folgende, auf Kalenderwochen (KW) basierende, PG-Arbeit
an:
15. KW:
Kompaktseminar mit Seminarvorträgen aller PG-Teilnehmer (,,Kennenlernphase``).
Tutorial
Kleingruppen (2-3 Personen) sollen zu den wichtigsten Methoden
und Tools Tutorials abhalten, die die anderen PG-Teilnehmer
anhand leicht zu realisierender Übungen auf einen einheitlichen
Wissensstand bringen (z.B. Java, CVS, Metaheuristiken , etc.). Dabei ist an eine Vertiefung in spezielle Teilgebiete für einzelne Teilnehmer gedacht, jeder Teilnehmer sollte jedoch einen Überblick
über die gesamte Thematik haben.
Überarbeitung und Fertigstellung der Dokumentation.
Fertigstellung des Endberichts.
Im Wesentlichen sollte eine Zweiteilung der PG-Arbeit erfolgen. Im
ersten PG-Semester sollte die Wissens- und
Erfahrungsakquisition / Konzeption, im
zweiten PG-Semester die Umsetzung des PG-Ziels und die Testphase
durchgeführt werden.
Das erste PG-Semester schließt mit der Abgabe der Dokumentation zu den
einzelnen Komponenten und dem Zwischenbericht ab. Die Erkenntnisse und
Ergebnisse sollen soweit wie möglich in die Umsetzung der PG-Aufgabe im
zweiten PG-Semester einfließen. Im Gegensatz zu einer statischen
Softwareentwicklung legen wir Wert auf ein dynamisches Zusammenspiel
zwischen Entwurf und Programmierung. Die Entwurfsphase soll
dabei einen großen Stellenwert erhalten. Vorgesehen ist eine UML-basierte
Entwicklung. Ferner soll sichergestellt
werden, dass:
die Problematik möglichst umfassend verstanden wurde,
Feedback zwischen den unterschiedlichen Entwicklungsstadien möglich
ist,
die Teilnehmer nicht nur ihre Spezialaufgaben bewältigen, sondern
Projektgruppenarbeit und somit Techniken der Zusammenarbeit
zur Anwendung bringen.
Erweiterungsmöglichkeiten
Das iterative Gefangenendilemma dient als Simulatiosnmodell in vielen
wissenschaftlichen Disziplinen. Eine Übertragbarkeit der gefundenen
Ansätze wäre daher wünschenswert.
Renata M. Aiex, Panos M. Pardalos, Leonidas S. Pitsoulis, and Mauricio G. C.
Resende.
A GRASP for computing approximate solutions for the three-index
assignment problem.
Lecture Notes in Computer Science, 1800:504-??, 2000.
E. Bonabeau, M. Dorigo, and G. Theraulaz.
Swarm Intelligence: From Natural to Artificial Systems.
Oxford University Press, Berlin, springer edition, 1999.
T. Beielstein, C.-P. Ewald, and S. Markon.
Optimal elevator group control by evolution strategies.
In E. Cantú-Paz et al., editor, Proc. Genetic and
Evolutionary Computation Conf. (GECCO 2003), Chicago IL, Part II, pages
1963-1974, Berlin, 2003. Springer.
C. Coello and A. Carlos.
A survey of constraint handling techniques used with evolutionary
algorithms.
Technical Report Lania-RI-99-04, Laboratorio Nacional de Informática
Avanzada, 1999.
M. Dorigo and T. Stützle.
The ant colony optimization metaheuristic: Algorithms, applications
and advances.
In F. Glover and G. Kochenberger, editors, Handbook of
Metaheuristics. Kluwer Academic Publishers, To appear in 2002.
Also available as technical report TR/IRIDIA/2000-32, IRIDIA,
Université Libre de Bruxelles.
Xavier Gandibleux and Arnaud Freville.
Tabu Search Based Procedure for Solving the 0-1
Multi-Objective Knapsack Problem: The Two Objectives Case.
Journal of Heuristics, 6(3):361-383, August 2000.
F. Glover, M. Laguna, and Rafael Marti.
Scatter search.
In A. Gosh and S. Tsutsui, editors, Theory and Applications of
Evolutionary Computation. Springer, 2001.
F. Glover.
A template for scatter search and path relinking.
In J.-K-Hao, E. Lutton, E. Ronald, M. Schoenauer, and D. Snyers,
editors, Artificial Evolution, number 1363 in Lecture Note in Computer
Science, pages 13-54. Springer, Berlin, springer edition, 1998.
J. Horn.
Multicriterion decision making.
In Z. Michalewicz T. Bäck, D.B. Fogel, editor, Handbook of
Evolutionary computation, pages pp F1.9:1-15. IOP Publishing and Oxford
University Press, New York and Bristol, 1997.
J. Kennedy.
The behavior of particles.
In D. Waagen V.W. Porto, N. Saravanan and A.E. Eiben, editors, Proc. Evolutionary Programming VII, pages 581-590, Berlin, 1998. Springer.
H. Ramalhino Lourenco, O. Martin, and T. Stützle.
Iterated local search.
In F. Glover and G. Kochenberger, editors, Handbook of
Metaheuristics. Kluwer Academic Press, 1999.
http://www.intellektik.informatik.tu-darmstadt/ tom/pub.html.
Marco Laumanns, Günter Rudolph, and Hans-Paul Schwefel.
A Spatial Predator-Prey Approach to Multi-Objective
Optimization: A Preliminary Study.
In A. E. Eiben, M. Schoenauer, and H.-P. Schwefel, editors, Parallel Problem Solving From Nature -- PPSN V, pages 241-249, Amsterdam,
Holland, 1998. Springer-Verlag.
Marco Laumanns, Günter Rudolph, and Hans-Paul Schwefel.
Approximating the Pareto Set: Concepts, Diversity Issues,
and Performance Assessment.
Technical Report CI-72/99, Dortmund: Department of Computer
Science/LS11, University of Dortmund, Germany, March 1999.
ISSN 1433-3325.
Marco Laumanns, Günter Rudolph, and Hans-Paul Schwefel.
Adaptive Mutation Control in Panmictic and Spatially
Distributed Multi-Objective Evolutionary Algorithms.
In PPSN/SAB Workshop on Multiobjective Problem Solving from
Nature (MPSN), Paris, France, September 2000.
N. Meuleau and M. Dorigo.
Ant colony optimization and stochastic gradient descent.
Artificial Life, 8(2):103-121, 2002.
Also available as technical report TR/IRIDIA/2000-36, IRIDIA,
Université Libre de Bruxelles.
N. Meuleau and M. Dorigo.
Ant colony optimization and stochastic gradient descent.
Artificial Life, 8(2):103-121, 2002.
Also available as technical report TR/IRIDIA/2000-36, IRIDIA,
Université Libre de Bruxelles.
Peter Merz and Bernd Freisleben.
A comparison of memetic algorithms, tabu search, and ant colonies for
the quadratic assignment problem.
In Peter J. Angeline, Zbyszek Michalewicz, Marc Schoenauer, Xin Yao,
and Ali Zalzala, editors, Proceedings of the Congress on Evolutionary
Computation, volume 3, pages 2063-2070, Mayflower Hotel, Washington D.C.,
USA, 6-9 July 1999. IEEE Press.
Patrick Surry Nicholas Radcliffe.
Formal memetic algorithms.
University of Edinburgh, Evolutionary Computing:ASIB Workshop, 1994.
Edinburgh Parellel Computing Centre.
K.E. Parsopoulos and Vrahatis M.N.
Recent approaches to global optimizaation problems through particle
swarm optimization.
Natural Computing, 1(2-3):307-322, June 2002.
Kluwer Academic Publishers.
D. Quagliarella, J. Périaux, C. Poloni, and G. Winter.
Genetic Algorithms and Evolution Strategy in Engineering and
Computer Science -- Recent Advances and Industrial Applications.
Wiley, Chichester, 1997.
Günter Rudolph and Alexandru Agapie.
Convergence Properties of Some Multi-Objective Evolutionary
Algorithms.
In Proceedings of the 2000 Conference on Evolutionary
Computation, volume 2, pages 1010-1016, Piscataway, New Jersey, July 2000.
IEEE Press.
Robert G. Reynolds.
An introduction to cultural algorithms.
In Proc. of the Third Annual Conf. on Evolutionary Programming,
pages 131-139, San Diago CA, 1994. World Scientific, Singapore.
Robert G. Reynolds.
Culrural algorithms: Theory and applications.
In David Corne, Marco Dorigo, and Fred Glover, editors, New
Ideas in Optimization, pages 367-377. University Press, 1999.
T. Stützle and M. Dorigo.
A short convergence proof for a class of ACO algorithms.
IEEE Transactions on Evolutionary Computation, 6(4), 2002, in
press.
Also available as technical report TR/IRIDIA/2000-35, IRIDIA,
Université Libre de Bruxelles.
T. Stützle and M. Dorigo.
A short convergence proof for a class of ACO algorithms.
IEEE Transactions on Evolutionary Computation, 6(4), 2002, in
press.
Also available as technical report TR/IRIDIA/2000-35, IRIDIA,
Université Libre de Bruxelles.
G. Schrimpf, Johannes Schneider, Hermann Stamm-Wilbrandt, and Gunter Dueck.
Record breaking optimization results using the ruin and recreate
principle.
Journal of Computational Physics, 195:139-171, April 200.
M. Thomas, C. Burwick, and K. Goser.
Circuit Analysis and Design using Evolutionary Algorithms.
Technical Report CI-85/00, SFB 531, Universität Dortmund, 2000.
S. Voss, S. Martello, I.H. Osman, and C. Roucairol, editors.
Meta-Heuristics - Advances and Trends in Local Search Paradigms
for Optimization.
Kluwer Academic Publishers, 1999.
E. Zitzler, K. Deb, and L. Thiele.
Comparison of multiobjective evolutionary algorithms: Empirical
results.
Evolutionary Computation, 8(2):173-195, April 2000.
E. Zitzler.
Evolutionary Algorithms for Multiobjective Optimization: Methods
and Application.
Berichte aus der Informatik. Shaker Verlag, Aachen - Maastricht,
1999.
E. Zitzler.
Evolutionary Algorithms for Multiobjective Optimization:
Methods and Applications.
PhD thesis, Swiss Federal Institute of Technology (ETH), Zurich,
Switzerland, November 1999.