El complejo se extendía alrededor de un núcleo central de carácter monumental, formado por dos edificios anexos, el palacio de Goyeneche (donde residieron su fundador y sus herederos) y la Iglesia de san Francisco Javier.