Hoewel de voorgevel anders doet vermoeden, ligt de oorsprong van het pand 'Eem' rond 1330. Het aanvankelijk 17 meter lange huis had als hoofdvertrek een 4,50 meter hoge zaal, met daaronder een kelder en daarboven een verdieping en een zolder.

In de 17e eeuw werd in de zaal een tussenverdieping aangebracht voor extra opslag en werd de ruimte in tweeën en later zelfs in drieën gesplitst. Doordat bij de restauratie een van de tussenwanden niet terugkeerde, zitten de bewoners er nu warmpjes bij met een middeleeuwse en een 18e-eeuwse haard in één vertrek.

Oorspronkelijk had het pand een topgevel. Blijkens twee zandstenen neuten, links en rechts van de voordeur, werd deze in 1730 naar 18e-eeuwse inzichten vervangen door een klokgevel met grote schuiframen. De huidige zware kroonlijst en de pakhuisraampjes zijn overigens pas van 1839.

Het vanaf de straat niet zichtbare achterhuis werd op z’n laatst in de 17e eeuw gebouwd als bedrijfsruimte, maar werd in de daaropvolgende eeuw aan de oostkant ingekort. Zo ontstond de ‘keucken met de hoff’. Een overdekte gang, van in totaal 40 meter, verbindt nu beide delen.

Het pand werd na 1974 grondig gerestaureerd. Bij deze verbouwing richtten de bewoners een deel van het voorhuis in als concertruimte.