Rond het jaar 1200 werd in het westelijk stadsdeel begonnen met de bouw van een kapel voor de schippers en kooplieden die zich daar, aan de oevers van de Aa, hadden gevestigd.
Deze romaanse kapel werd in 1246 verheven tot parochiekerk, gewijd aan Onze Lieve Vrouwe en de Heilige Nicolaas, beschermheilige van de schippers. De kerk werd 'Onze Lieve Vrouw ter Aa' (dus: bij de Aa) genoemd. Later kwamen de benamingen ‘Ter Aa-kerk’ of ‘Der Aa-kerk’ in zwang.
De belangrijkste verbouwingen vonden plaats in de 15e eeuw, toen de kerk werd verbouwd tot een volledig gotische kruisbasiliek. Eerst werd in 1425 een nieuw koor gebouwd, veertig jaar later werd de rest van de kerk even hoog als het koor opgetrokken.
In ca. 1520 volgde de inwendige afwerking met een indrukwekkende reeks gewelfschilderingen.