Der malerische Zwetnik-Park, (d. h. Blumenpark), wurde in Pjatigorsk 1829 angelegt. So haben Architekten den Ort veredelt, wo Mineralwasser aus verschiedenen Quellen zusammenfloss. Hier wurden Linden, Kastanien, Ahorne, Pappeln gepflanzt. Die einstöckige Lermontow-Galerie befindet sich nicht weit vom Parkeingang und sieht wie ein Märchenpalast aus. Übrigens wurde sie viel später, im Jahre 1901 gebaut. Der hellblaue Pavillon aus Stahl und Glas mit gotischen Helmen und Buntglasfenstern wurde sofort zu einem Wahrzeichen der Stadt.
Hinter der Lermontow-Galerie im Zwetnik-Park befindet sich das Gebäude der Jermolow-Bäder, (russisch: Jermolowskije wanny). Die ersten Badestätten wurden 1820 auf Befehl des Generals Jermolow zur Behandlung von Militärangehörigen gebaut. 1880 wurde ein neues Gebäude aus roten und gelben Ziegeln gebaut. Wenn man vom Berg aus einen Blick auf das Gebäude wirft, sieht man, dass seine Flügel ein Kreuz bilden. Die Türme sind den Kirchenkuppeln ähnlich, was das ganze Bauwerk wie eine Kirche aussehen lässt. Anfang des 20. Jahrhunderts waren die Jermolow-Bäder das Hauptmoorheilbad von Pjatigorsk. Heute befindet sich darin eine Klinik.
Zu Sowjetzeit wurde an den Zwetnik-Park ein Park am Gorjatschaja-Berg, (dem Heißen Berg), angeschlossen. Am Fuß dieses Berges wurde 1829 eine Gedenkstätte für die erste Elbrus-Besteigung eingerichtet: eine kleine Höhle mit zwei Säulen. Später wurde hier die Figur der Göttin Diana aufgestellt, und die ganze Anlage wurde Diana-Grotte genannt. Im Inneren der Grotte gibt es eine halbrunde Bank. Eine Woche vor seinem Tod hatte der russische Dichter Michail Lermontow, zusammen mit den Freunden, auf dem Grundstück vor der Grotte einen Ball veranstaltet.