In de negentiende eeuw mochten de rooms-katholieken hun schuilkerken, die zij sinds de hervorming van 1594 betrokken hadden, weer verlaten. Zij kregen de Minderbroeder- of St. Martinus-kerk terug van de protestanten en de Jezuïten betrokken een kapel in de Gelkingestraat. De pastoor van de Martinusparochie kreeg bij zijn benoeming in 1884 van de aartsbisschop van Utrecht de opdracht mee een tweede kerk te stichten in verband met de aanstaande stadsuitbreidingen.

Een stuk vrijgekomen vestinggrond werd aangekocht en de bekende architect P.J.H. Cuypers (1827-1921) werd gevraagd een ontwerp te maken voor een aan St. Jozef, de patroon van werklieden, gewijde kerk.

Hij baseerde zijn ontwerp op de eerder door hem gerealiseerde St. Vituskerk in Bussum, met weliswaar een geheel andere toren. Bij beide neo-gotische ontwerpen liet hij zich inspireren door de veertiende eeuwse Broederenkerk in Zutphen. Kerk, toren en pastorie werden in 1886-’87 gebouwd voor ruim één ton.

De kerk, met een midden-schip, twee zijschepen, een klein koor en aan de noord-oostzijde een aangebouwde kapel met sacristie, werd gebouwd in rode baksteen met om de elf lagen drie lagen gele baksteen. Het zijn de enige horizontale elementen naast de typisch (neo-)gotische verticale hoge spitsboogramen, steunberen, westelijke luchtbogen en torens. De 76 meter hoge toren heeft een gietijzeren spits. Hij werd per trein uit België aangevoerd en ter plekke gemonteerd en met hout en leien bedekt.

Omdat weer en wind het ijzer in honderd jaar ernstig hadden aangetast, moest de spits bij de restauratie, tussen 1985 en 1990, in z’n geheel vervangen worden. De toren wordt wel dronkemanstoren genoemd, omdat vanuit elke positie door z’n zeshoekige vorm, twee klokken zichtbaar zijn.