La institución de acogida de huérfanos se instaló en el edificio del que fuera Colegio de San Prudencio, fundado en 1789 por el vitoriano D.