Das hölzerne Brandenburger Tor, das zu einem gleichnamigen Schloss führte, wurde 1657 errichtet. Es bot Schutz für Königsberg vom Süden her. Im 18. Jahrhundert entschloss man sich, es auszutauschen. An seiner Stelle entstand ein Ziegeltor mit zwei Durchfahrten.
1843 wurde das Brandenburger Tor restauriert, wobei es den neogotischen Stil bekam und es wurde mit Sandsteinblumen am Giebel und mit den Hochreliefs deutscher Generäle, die am Krieg gegen Napoleon teilgenommen hatten, verziert. In den Seitenkasematten wo früher die Wachen standen richtete man nach dem Krieg Lagerräume ein. Heute wird das Tor zweckgemäß verwendet. Aber die Durchfahrt verengt die Fahrbahnbreite erheblich, was oft Staus verursacht.