El primer Conde de Casa Rojas, y posiblemente el primer dueño de este Castillo, fue José de Rojas y Recaño de la Torre.