Aan het eind van de zeventiende eeuw stond achter de St. Aegtenkapel een schuilkerk. Na een brand in 1715 verrees een nieuw gebouw op de huidige plek. In 1816 werd het huidige kerkgebouw ontworpen door architect F. Wittenberg uit Zutphen.

De kerk is een neoclassicistische hallenkerk, een van de eerste in Nederland. In feite is dit kerkgebouw een ‘waterstaatskerk avant la lettre’. Want pas acht jaar na de gereedkoming van de kerk besloot koning Willem 1 in 1824 dat kerken alleen nog maar met goedkeuring van de ingenieurs van Waterstaat mochten worden gebouwd. Vandaar  dat dit type kerken met de naam ‘Waterstaatskerk’ wordt aangeduid. Deze stijl komt in de gevel tot uiting in de geblokte pilasters met ionische kapitelen, de bloemguirlandes en het driehoekige fronton boven de kroonlijst. Op de kroonlijst staat in goud de tekst ’Soli deo gloria’, een spreuk die veel werd gebruikt door de Jezuieten. In 1851 werd de kerk vergroot door architect Th. Molkenboer uit Leiden.

Interieur tweemaal zes houten zuilen, met boomstammen van 35 cm diameter, dragen op ionische kapitelen het bepleisterde tongewelf van het middenschip en de vlakke gewelven van de beide zijbeuken. Achterin de kerk is in 1995 een vloersculptuur aangebracht, vervaardigd door Jeróme Symons uit Italiaans marmer en gegoten aluminium. Het is gebaseerd op het lied Rorate -Dauwt hemelen van omhoog en wolken regent de gerechte-. Het houten hoofdaltaar stamt nog uit de achttiende-eeuwse kerk. Bij de vergroting van het kerkgebouw in 1851 werden een halfrond retabel of altaaropbouw, de kruisgroep en twee zijaltaren toegevoegd. Boven de kruisgroep bevindt zich een vrouw met kruis en beker als symbool van de kerk, ter weerszijden bevinden zich in medaillons Petrus en Paulus als zuilen van de kerk. De beelden aan de zijwanden van de kerk zijn van F. Stracké (1863-1865). In de kerk staat een eikenhouten beeld van Onze Lieve Vrouwe van Amersfoort opgesteld dat dateert uit de late vijftiende eeuw. Dit beeld is mogelijk afkomstig uit de St.-Joriskerk en zou tijdens de beeldenstorm van 1580 daaruit zijn gered. Het houdt in de Xaveriuskerk de herinnering aan het Mariawonder van 1444 levend. Het Bätzorgel tenslotte, is in 1819 gebouwd.

Voor een uitvoeriger beschrijving lees een artikel van Max Cramer, architectuurhistoricus bureau Monumentenzorg