Uit archeologische opgravingen is gebleken dat hier al in de 5e of 6e eeuw boerderijen stonden van een in het terpengebied gebruikelijk model. In de daarop volgende eeuwen schoof de bebouwing wat op en streken op deze plek Begijnen of ‘Geestelijke Maagden’ neer. Deze gemeenschap, die in 1386 voor het eerst als ‘Olden konvente’ genoemd werd, ging in 1401 over tot de Derde Orde van Sint Franciscus.

Het terrein liep door tot aan de stadsmuur, terwijl de oost- en westgrens te vinden waren op de plaats van de huidige straatjes met de toepasselijke naam ’t Klooster. Tegen teveel contact met de buitenwereld werd gewaakt en voor de meeste nonnen was er niet veel meer dan een venster in het aan de straat gelegen ‘Spreekhuis’.

Toen in 1594 als gevolg van de Hervorming bepaald werd dat het Olde Convent geen nieuwe leden meer mocht opnemen, waren er nog slechts enkele oude ‘maagden’ over. Zonder probleem en ‘Ter eere Godes’ konden de ‘E.E. Heere Borgemeestere en de Raadt’ in 1599 dan ook een gedeelte van het complex tot ‘borgerweeshuis’ bestemmen. Twintig kinderen, waarvan de vaders ooit het lidmaatschap van de hervormde kerk en het burgerrecht moesten hebben verworven, konden een plaatsje krijgen. Omdat spoedig bleek dat meer wezen zo’n vader hadden gehad, moesten in 1621 ook de laatste nonnen plaatsmaken. De minderbedeelde hervormde wezen konden vanaf dat jaar terecht in een eigen weeshuis in de Oude Ebbingestraat.

Ter onderscheiding waren de ‘burgerwezen’ gedeeltelijk ‘sangen’ (roodachtig) gekleed en de arme wezen groen en sprak men in de wandeling van Roode- en Groene Weeshuis.

Nadat het weeshuis als zodanig had opgehouden te bestaan, werd in 1961 de Stichting Het Poortje opgericht, een opvangcentrum voor jongeren van 12 tot 18 jaar. De naam van de stichting hangt samen met het nog bestaande poortje dat in 1627 door de ‘tsamlick gilden’ aan het weeshuis was geschonken.

Toen Het Poortje elders werd gehuisvest, kocht de gemeente in 1989 het gehele complex, met uitzondering van de voogdenkamer. In opdracht van de toenmalige Woningbouwvereniging Volkshuisvesting volgde een ingrijpende restauratie en uitbreiding naar ontwerp van Cees Nagelkerke, die resulteerde in 55 seniorenwoningen.