“Date Caesari quae sunt Caesaris” staat er op de gevel van het Goudkantoor. Ofwel: geef de keizer wat des keizers is. Het is een verwijzing naar de oorspronkelijke functie: een provinciaal collectehuis, ofwel belastingkantoor. In 1635 wordt het gebouwd in een Groninger variant op de Hollandse renaissancestijl, waarschijnlijk naar ontwerp van stadsbouwmeester Johan Isbrants. Tijdens de bevrijding van de stad in 1945 blijft het Goudkantoor net als het stadhuis nagenoeg ongeschonden. Een wonder, want vrijwel alle andere bebouwing aan de Grote Markt wordt aan puin geschoten. Daaronder de naastgelegen panden en de inspiratie voor Isbrants: het rijk gedecoreerde Huis Panser. 
Tijdens de wederopbouw besluit architect Jo Vegter de restanten van Huis Panser te gebruiken voor het maken van een derde topgevel van het Goudkantoor. De oorspronkelijk dode zuidgevel is dus niet origineel maar wel getooid met zeventiende-eeuwse ornamenten. De naam ontleent het Goudkantoor overigens niet aan de oude functie, maar aan het bureau van waarborg van goud- en zilverwerken, dat tussen 1814 en 1887 in het gebouw kantoor hield.