La tenencia del castillo se vincula durante el siglo XV a la Casa de Baena y Cabra.