Berneer Solleder en zijn zoon Albert bestemden een “hues ende hofstede” in 1405 om er “ellendighe pelegrams in to herberghen” voor ten hoogste drie nachten. Het gasthuis dat zo ontstond werd gewijd aan de heilige Geertruid, die in 652 abdis in het Waalse Nijvel was geworden en als beschermvrouwe van de reizenden gold.

Hoewel Burgemeesters en Raad het gasthuis begunstigden door het vrij te stellen van alle stadsdiensten, omdat de bewoners en bezoekers “arme lude” waren, schoten de financiële middelen toch tekort zodra het aantal reizenden en hulpbehoevende stadjers toenam. Giften van ondermeer Paus Sixtus IV kwamen dan ook goed van pas. Was aan de meeste schenkingen geen tegenprestatie verbonden, anders lag dat met de gift van Menso Jeltema. Hij verwachtte in ruil voor landerijen bij het Groningse Faan dat het gasthuis jaarlijks onder de armen van het betreffende dorpje een ton haringen zou uitdelen.

Nadat de stad in 1594 protestants was geworden, waren er in het gasthuis geen pelgrims meer. De voogdij ging toen over op de huisvesting van bejaarden: vijftigplussers. In ruil voor een inkoopsom kregen zij onderdak, verwarming, een warm middagmaal en ’s avonds een bord pap. Ook kregen zij wat boter, roggebrood, kaas en per maand ƒ 1,25 (gulden) biergeld!

In 1954 wordt het inkopen afgeschaft omdat te weinig mensen in staat bleken het hoge bedrag op te brengen. Vanaf dat moment betalen de bewoners gewoon huur.

De zeventiende eeuw was ook voor het Pepergasthuis een 'gouden eeuw'. De gasthuiskerk werd vergroot en van een orgel en nieuwe preekstoel voorzien.

In 1640 werd het hele gasthuis 'van nijes getimmert', zoals het opschrift boven de hoofdpoort ons leert. Tot in de achttiende eeuw had het gasthuis de status van 'dolhuis', hetgeen nog te zien is aan de zware tralies van vijf cellen. De oostelijke muur van de achterpoort is tot vier meter hoog een restant van de omstreeks 1337 gebouwde stadsmuur met nog zichtbaar een paar schietspleten.