En 1508, finalmente, fue desposeído del señorío de las villas de Caracena e Ines en favor de su primogénito Gómez Carrillo, con quien ya había mantenido pleito por la disputa del mayorazgo sobre el señorío de Pinto que su esposa Leonor de Toledo había concedido a su vástago.