Mit der Geschichte des Baus des Schlosses Frankenberg ist eine Legende verbunden. Während der Hochzeit von Karl und Fastrada erschien plötzlich in der Halle eine Schlange, die in seinem Mund einen Ring hielt. Die Schlange warf den Ring in den Becher gefüllt mit Wein, und Karl nahm ihn und legte an den Finger der Braut. Angeblich darin liegt das Geheimnis der Liebe, die Karl für seine Gemahlin hatte. Als Fastrada starb, fiel Karl in eine Depression. Um den Monarchen zu unterhalten, wurde eine Jagd arrangiert. Während der Jagd, ließ Karl den Verlobungsring der Ehegattin fallen, den er immer dabei hatte. An der Stelle, wo der König den Ring fallen ließ, wurde beschlossen, ein Schloss zu bauen. Sein Name bedeutet "Berg der Franken".
Es gibt eine andere Legende mit dem Schloss Frankenberg verbunden. Es wird angenommen, dass diese Geschichte Tolkien die Idee aufgefordert hatte, die Sage "Der Herr der Ringe" zu schreiben. Nach dem Tod von Karl ging das Schloss von Hand zu Hand. Sein heutiges Aussehen erschien im 14. Jahrhundert. Es wurde vom damaligen Besitzer der flämischen Familie Merode-Houffalize umgebaut. Seit dem 18. Jahrhundert war das Schloss nicht bewohnt, und es wurde nach und nach zerstört. Aber im Jahre 1834 beschlossen die Stadtväter den Frankenberg wieder herzustellen. Jetzt sind hinter seinen Mauern ein Museum der Geschichte von Aachen und auch das örtliche Kulturzentrum beherbergt.