Rijke Groningers zijn in de dertiende eeuw allerminst zeker. Daarom laten ze voor zichzelf steenhuizen bouwen, zeg maar kleine kasteeltjes in de stad. Om veiligheidsredenen liggen de entrees hoog en wordt er op de boven de kelder en de begane grond gewoond. Bewoners hebben een ladder nodig om hun binnen te komen. In de basis is het Calmershuis zo’n steenhuis. 
Het wordt rond 1250 gebouwd en behoort daarmee tot de oudste gebouwen van de stad. Zeker aan de buitenzijde is daar weinig meer van te zien.  Eigenlijk herinneren alleen de extreem dikke muren, het keldergewelf en de voor middeleeuwse begrippen forse hoogte aan het oude stadskasteel. De bepleistering stamt uit de negentiende eeuw. De naam verwijst naar burgemeester Barolt Calmar, die er in 1338 komt wonen. Na Calmar wonen er hoge militairen, academici en vooraanstaande families als de Ubbena’s en de Tamminga van Alberda’s. In 1891 komt er een eind aan de woonfunctie. Kledingfabrikant Mozes Polak koopt het pand voor zijn groothandel in manufacturen. Daarna wordt het een kantoor van uitgever Wolters-Noordhoff, een kraakpand en een universiteitsgebouw.