Toen rond 1800 de Brandenburgersteeg nog op de Hereweg uitkwam, stond op de zuidhoek een herberg 'alwaar 't Fortuin uithing'. In de vorige eeuw kreeg het etablissement een andere naam en raakte minder 'welbeklant'. Als 'aangenaam buitenverblijf naby den aan te leggen spoorweg' werd het in 1864 samen met nog enige andere onroerende goederen voor ruim tien mille aangekocht door de grootindustrieel Willem Albert Scholten.

Hoe 'aangenaam' de aankoop voor Scholten was, bleek al twee jaar later toen hij voor bijna dezelfde prijs een deel van de grond doorverkocht aan de spoorwegen. Het 'buitenverblijf' liet hij afbreken om plaats te maken voor een nieuw 'gebouw met koepel', ontworpen door zijn uit Arnhem afkomstige huisbouwmeester J. Maris.

Scholtens biograaf, de doopsgezinde predikant en encyclopedist Winkler Prins, sprak van een 'sierlijk tuinhuis, dat op zijne drie verdiepingen alles oplevert, wat gemak, weelde, kunstzin en goede smaak zelfs aan hooggestelde eischen kunnen bezorgen'.

Na Scholtens overlijden in 1892 werd de koepel door de erfgenamen van de hand gedaan, maar zoon Jan Evert kreeg spijt en kocht de 'heerenbehuizing' in 1917 terug. Ruim een jaar later overleed ook hij en werd het gebouw opnieuw verkocht.

De gemeente Groningen verwierf het in 1958 met de bedoeling het tezijnertijd te slopen in verband met een verbreding van het viaduct. Nadat dit gevaar was afgewend werd de koepel gerestaureerd. De in 1868-'69 in Parijs gegoten gietijzeren beelden 'Zomer', 'Herfst' en 'Winter' werden weer in de nissen geplaatst en de 'Lente' werd aan de hand van de 'Winter' gevormd.

De vergulde Mercurius werd op Monumentendag 1991 herplaatst.