Fernando de Padilla, canónigo prior del cabildo de la catedral de El Burgo de Osma, fue el fundador de este colegio de la Compañía de Jesús, bajo la denominación de Colegio del «Espíritu Santo», promocionando que en el mismo se enseñara Latín y Retórica.