En más de una ocasión, alguno de los títulos y «ricos homes» de Castilla pretendieron usurpar el Señorío de Adamuz, prueba de ello es la Comisión conferida en el año 1469 por el rey Enrique IV de Castilla al Maestre de Santiago y al Obispo de Sigüenza para que procurarán que el Conde de Cabra, Martín Alonso de Sotomayor y Fernán Pérez, su hermano, de una parte y de otra la ciudad de Córdoba, celebrasen una concordia para que devolviesen, como en efecto devolvieron, a esta ciudad varias fortalezas que le tenían usurpadas, siendo una de ellas la de Adamuz, que según lo pactado había de demolerla, por lo que acaso en este tiempo se derribaría su castillo.