La situación fue empeorando con los años y el anciano Alfonso perdió el control de la corte. El heredero de Pedro, Fernando, era un niño enfermizo mientras que los hijos ilegítimos de Inés crecían fuertes y sanos. Preocupado ante un inminente conflicto dinástico (que culminaría en el interregno de 1383-1385), en 1354 Alfonso trasladó su corte a Montemor-o-Velho y se inició una conspiración para deshacerse de Inés de Castro. Tres consejeros, Pedro Coelho, Diego López Pacheco y Álvaro Gonçalves, son señalados como los más incisivos en presionar al rey para que se la asesine.