Masterseminar Sommer 2026: Entropie

Di, 14-16 Uhr, Übung 4

Thema dieses Seminars sind Entropiebegriffe, wie sie in der (klassischen und Quanten-) Physik, Wahrscheinlichkeitstheorie, und Informationstheorie auftreten. Entropie hat dabei verschiedene Bedeutungen, kann zB als Maß für den Informationsgehalt einer Nachricht oder für die Unordnung eines Systems verstanden werden.

In der klassischen Theorie bezieht sich eine Entropie S(P) auf eine klassische Wahrscheinlichkeitsverteilung, also im einfachsten Fall auf eine Wahrscheinlichkeitsverteilung P:X->[0,1] auf einer endlichen Menge X. Zum Beispiel ist die Shannon-Entropie von P

S(P)=-\sum_{x\in X} P(x)\log P(x) \geq0

und die zugehörige relative Entropie (Kullback-Leibler Divergenz) zweier Verteilungen P,Q

S(P,Q)=\sum_{x\in X} P(x)\log\frac{P(x)}{Q(x)}

Diese Größe kann als ein Maß für die Überraschung (Informationsgewinn) angesehen werden, wenn man von einer Wahrscheinlicheitsverteilung Q ausgeht, aber P findet. Mathematisch gesehen kann S(P,Q) als eine Art Abstand der Verteilungen P und Q angesehen werden, allerdings ist S(P,Q) nicht symmetrisch in P,Q und kann auch unendlich sein.

In der endlichdimensionalen Quantentheorie treten an die Stelle der Wahrscheinlichkeitsverteilungen P,Q Matrizen, sogenannte Dichtematrizen (positiv mit Spur 1). Per Funktionalkalkül machen auch hier Ausdrücke der Art

-{\mathrm{Tr}}(\rho\log\rho)=-\sum_{\lambda\in\sigma(\rho)}\lambda\log\lambda

Sinn (mit \rho eine Dichtematrix und \lambda ihre Eigenwerte), und dies verallgemeinert sich auf den unendlichdimensionalen Fall, wo Dichtematrizen als positive Spurklasseoperatoren mit Spur 1 definiert sind. Allerdings kommt es zu diversen neuen Effekten, insbesondere für relative Entropien von nicht kommutierenden Dichtematrizen. In der Funktionalanalysis/Quantenphysik beschreiben Dichtematrizen Zustände eines Quantensystems (normierte positive normale Funktionale auf einer Matrix- oder allgemeineren Operatoralgebra).

Wie diese Bemerkungen zeigen, werden die diesem Seminar zugrundeliegenden mathematischen Werkzeuge in erster Linie aus der Funktionalanalysis kommen, mit einigen Anleihen aus der (elementaren) Wahrscheinlichkeitstheorie.

Je nach Interessen der Teilnehmenden kann es Vorträge zu Entropien in der klassischen Informationstheorie, Quantenmechanik, und Operatoralgebren geben.

Literatur

Hauptquelle: M. Ohya, D. Petz. Quantum Entropy and Its Use. Springer, 1993.
Für Vorträge über klassische Entropie: T.M. Cover, J.A. Thomas. Elements of Information Theory. Wiley, 2005.

Organisatorisches

Wenn Sie an diesem Seminar teilnehmen möchten, kontaktieren Sie mich.
Studon-Link
Eine genauere Liste von möglichen Vortragsthemen und eine Verteilung der Themen wird Anfang des Sommersemesters erfolgen.