Por eso, apenas tres años más tarde, en 1461, el mismo Enrique IV ordena al Concejo de Trujillo que derriben el castillo de Cañamero y que "no se construya nunca más en dicha peña, ni torre ni castillo ni otra casa fuerte ni edificio alguno".