Omdat vooraanstaande stadjers in de 13e eeuw hun leven allerminst zeker waren, lieten zij voor zichzelf steenhuizen bouwen. Zo verrees ook deze ‘Rembrandt onder de monumenten’. Een voor z’n tijd gigantisch bouwwerk, waaraan meerdere jaren enige tientallen mensen werkten.

Omdat de straat toen lager lag en de ingang uit status- of veiligheidsoverwegingen wat hoger, hadden de bewoners voor het in- en uitgaan een houten ladder nodig. Men woonde op de verdieping in een zes meter hoge zaal. De hogere verdiepingen waren pakzolders, slechts voorzien van licht- of luchtspleten. De kelder op de begane grond had een eigen ingang.

Rond 1543 onderging het pand een ingrijpende verbouwing. Het huis is genoemd naar de burgemeestersfamilie Calmer, aan wie het pand in 1338 behoorde. Een oorkonde uit dat jaar spreekt van ‘Hugo en Aleke Kalmers [hues] byder Mynrebroder strate in Bottringestrate’. Na de Calmers huisden er andere vooraanstaande geslachten als de Ubbena’s en de Tamminga van Alberda’s. Het was niet alle bewoners gegeven lang te genieten van hun ‘Rembrandt’. Zo sneuvelde op 11 oktober 1746, slechts vier jaar na zijn aankoop, Generaal-Majoor Ottho Georg Veldtman tussen Luik en Maastricht. Zijn familie bleef er nog wel tot 1815 wonen.

In 1891 kwam er een eind aan de bewoning door burgemeesters en academici. Mozes Polak kocht het pand voor z’n grossierderij in manufacturen. Negentien jaar later ging het over in handen van de firma J.B. Wolters, die toen ook al de belendende panden bezat. Enkele jaren na het vertrek van Wolters-Noordhoff in 1982, werd het een krakersbolwerk.

Pas nadat het besluit gevallen was om hier de nieuwe Openbare Bibliotheek te bouwen, kon ook het Calmershuis een nieuwe bestemming krijgen: de Open Universiteit.