Die auf dem Karlsplatz befindliche Hofkirche «Unserer Lieben Frau» wurde mehrmals umgebaut. Vor ca. Tausend Jahren befand sich auf diesem Platz die Pfalzkapelle, etwas später – das Benediktinerinnenkloster und danach die protestantische Kirche. Das heutige Gebäude wurde im beginnenden 17. Jahrhundert nach dem Vorbild der Münchner Jesuitenkirche St. Michael erbaut. Später wurde sie auch in die Jesuitenkirche umgewandelt. Der Hochaltar wurde von dem berühmten Maler Peter Paul Rubens bemalt. Er hatte auf dem Altar «das Große Jüngste Gericht» gestaltet. Dieses Werk gilt als eines seiner bedeutensten Gemälde.
Heute ist dieses Gemälde in der Alten Pinakothek in München aufbewahrt. Die Nebenaltare, die auch von Rubens erschaffen wurden, gehören jetzt auch zur Alten Pinakothek und werden in ihrer Filiale in Schloss Neuburg ausgestellt.