Men mot slutten av 1460-årene kom kongen og jarlen dårligere overens. Det var flere årsaker til dette, men det mest sentrale var kongens ekteskap med Elizabeth Woodville, som ble inngått i hemmelighet i 1464. Warwick var i forhandlinger om ekteskap mellom kongen og en fransk kvinne, og det var svært uheldig for hans omdømme da kongen annonserte ekteskapet med Woodville som et . Da det også viste seg at Woodvilleslekten fikk stor innflytelse ved hoffet på bekostning av Nevilleslekten ble Warwick bitter. De var også uenige om andre ting, som at kongen ønsket å alliere seg med Burgund mens Warwick ville ha en allianse med Frankrike, og at kongen var skeptisk til å la sine brødre George, hertug av Clarence og Richard, hertug av Gloucester gifte seg med Warwicks døtre Isabella og Anne.