L'Oratorio, pur così modesto, doveva essere meta di frequenti pellegrinaggi. Contribuì a questa crescita la tradizione che riconosceva nell'effige trifronte di Cristo un importante punto taumaturgico. Dal 1605 al 1617 venne realizzato il corpo principale del Santuario, mentre negli anni dal 1646 al 1659 successivi rimaneggiamenti portarono al quasi completamento dell'edificio, in concomitanza con la volontà di realizzare il complesso del Sacro Monte.
Nel 1646 vi fu poi l'aggiunta del campanile e nel 1691 venne realizzato il porticato sul fronte della Chiesa. Nel XVIII secolo si sopraelevarono i locali sul fianco della Chiesa per realizzare la "casa del Romito", abitata da un padre dei Trinitari che svolgeva il compito di custode del Santuario. L'ultimo rimaneggiamento avvenne nel 1761, quando si sopraelevò il pronao conferendo alla facciata l'aspetto attuale. La Chiesa si completò definitivamente nel 1904, quando l'abside venne circondata da un coro poligonale che ne ripete l'andamento.