L'edifici va ser finançat originalment per Joaquín Eleta. La construcció va començar el 1785 i es va inaugurar el 1791. Luis Bernasconi es va encarregar del disseny i de la supervisió de les obres.

L'edifici té una planta quadrada amb un pati central. A la planta baixa hi havia la capella (ara sala de reunions), el refectori, la cuina i la rebost; a la primera planta, envoltant el pati, hi havia les diverses aules; la segona planta estava reservada per als dormitoris.

La façana està construïda de maçoneria, amb blocs de pedra tallada que emmarquen les obertures. L'arc semicircular de l'entrada principal està flanquejat per pilastres que sostenen un frontó corbat. Sobre l'entrada s'alça el magnífic escut d'armes del bisbe Eleta, a càrrec de qui es va construir el Seminari. La part superior de l'escut d'armes presenta les armes de la família Eleta de Navarra, mentre que la part inferior ostenta les armes de la Inquisició, de la qual el confessor reial n'era degà.

L'escut està envoltat pel cordó francès i coronat per la mitra de l'arquebisbe.

El nucli original d'Eleta es va ampliar a mitjan segle XIX amb dues ales a cada costat, que sobresurten més enllà de la línia de la façana original. Posteriors ampliacions, realitzades al segle XX, van augmentar l'alçada de l'edifici i van afegir la capella del Seminari Menor —ara Museu de Setmana Santa— a l'est de la façana, que presenta un portal amb influències classicistes a l'estil d'Herrera.