Il palazzo;su di un'altura non lontana dall’Abbazia di Montevergine ma più accessibile e funzionale al servizio che i monaci erogavano alle popolazioni del luogo ed ai pellegrini;è tuttora sede della congregazione verginiana;che vi si stabilì dopo il 1732 quando la precedente casa venne distrutta da un sisma.La nuova struttura è un mirabile esempio dell'architettura barocca:progettata da Domenico Antonio Vaccaro;uno dei più stimati architetti napoletani dell’epoca;fu completata dall’ingegnere napoletano Michelangelo Di Blasio con alcune radicali modifiche;come la demolizione della torre destinata a residenza dell’abate e la realizzazione delle due imponenti rampe di scale subito dopo il portone d'ingresso.Sulla volta di ingresso;lo stemma dell'Abbazia è del pittore Antonio Vecchione;che affrescò anche le volte delle due salette ospitanti l'Archivio diocesano.Al primo piano;va menzionata anche la farmacia;con i suoi preziosi vasi;ognuno dei quali reca sul fronte lo stemma dell'abbazia;ospitati in bacheche in noce;eseguite in ottimo stile imitazione del Settecento.Al piano nobile;la sala capitolare è un sontuoso salone settecentesco;rivestito di recente (1957) di damasco rosso;dove campeggiano tre arazzi cinquecenteschi di scuola fiamminga;sul soffitto;le decorazioni e gli stucchi eseguiti dai fratelli Conforto di Calvanico.La cappella;con un altare di marmi policromi sul quale è una tela con “L'assunzione in cielo della Santa Casa di Loreto” di Paolo De Maio;allievo di Francesco Solimena;ha subito consistenti lavori di restauro.Nel 1925 vi lavorò Vincenzo Volpe;noto esponente dell'Ottocento pittorico napoletano;che disegnò il soffitto e il pavimento in marmo;mentre il coro in stile imitazione del Settecento;in legno e cuoio intagliato fu eseguito dal figlio Geppino e dal fratello Mario.Dell’ala settecentesca fanno ancora parte il refettorio;dove si trovano tre arazzi;e la cucina mentre la cosiddetta "ala degli studenti" non faceva parte del progetto originario e fu aggiunta nella seconda metà del Settecento.Il bel giardino interno;con un’estensione di 3000 mq;è articolato intorno ad un vialone a croce latina in asse con la torretta della facciata dove è un orologio di scuola napoletana (Barletta).La Congregazione di Montevergine osserva ancora la clausura;pertanto il palazzo di Loreto è visitabile soltanto limitatamente alla parte occupata dalla Biblioteca con l’annesso Archivio – di competenza statale – e dall’antica farmacia.