1470 floh John nach Frankreich, um sich dort mit den Mitgliedern des Hauses Lancaster um Margarete von Anjou zu verbinden. Noch im selben Jahr kehrte er nach der Restaurierung König Heinrichs VI. nach England zurück. 1471 führte er für das Haus Lancaster in der verhängnisvollen Schlacht von Barnet den rechten Flügel, in der sie eine Niederlage gegen das Haus York erlitten; Neville wurde getötet und König Heinrich VI. wurde endgültig vom Thron gestoßen. John floh erneut nach Frankreich, von wo aus er mit der Unterstützung König Ludwigs XI. als Pirat mehrere Überfälle gegen die englische Küste durchführte. 1473 besetzte er den St. Michael’s Mount, wo er erst nach einer mehrmonatigen Belagerung 1474 kapitulieren musste. John geriet erneut in die Gefangenschaft König Eduards IV., die er auf der Burg Hammes bei Calais verbrachte. 1476 stürzte er von den Mauern seines Gefängnisses in den Burggraben, ob dies ein beabsichtigter Selbstmord oder ein ernsthafter Fluchtversuch war, ist nicht zu ermitteln, jedenfalls setzte sich seine Gefangenschaft fort. Aber 1484 erlangte er doch die Freiheit, nachdem es im gelungen war den Burgkommandanten von Hammes zu einem Überlaufen auf die Lancaster-Seite zu bewegen.