Das gotische Roßgärter Tor aus Ziegelsteinen mit dekorativen achteckigen Türmen ersetzte 1855 das Tor aus dem Anfang des 17. Jahrhunderts, das sich einst am Stadtrand von Königsberg befand, wo die Felder begannen und Pferde auf die Weide geführt wurden. Laut einer Legende machte Baron Münchhausen hier eine Rast auf seiner Reise von Russland nach Deutschland, um Bier zu trinken.
Stadtseitig ist das Roßgärter Tor mit Figuren berühmter preußischer Generäle dekoriert. Es ist bekannt, dass das Tor ursprünglich von einem Graben umgeben war. Nach der Rekonstruktion in den 1990er Jahren eröffnete im Torgebäude ein Fischrestaurant, das die Zugbrücke als Sommerveranda verwendet. Am Dach wurde eine Aussichtsplattform eingerichtet.