La utilización del castillo por el obispado de Osma ha sido muy dispar, desde mansión palaciega para los obispos (los cuales acudían a solazarse con la pesca de la trucha en el acotado río Ucero) hasta cárcel para clérigos.