Pessagno kehrte nach seiner Amtsenthebung nach England zurück und erschien am 26. April 1319 im Schatzamt, um seine Abrechnungen vorzulegen. Er gewann zwar offenbar bis August 1319 die Gunst des Königs zurück, doch als Kreditgeber des Königs spielte er keine Rolle mehr. Diese Aufgabe hatte das Florentiner Bankhaus Bardi übernommen. Vermutlich aus Gegnerschaft zu Hugh le Despenser den Älteren und dessen Sohn Hugh le Despenser, den rücksichtslosen neuen Günstlingen des Königs reiste Pessagno vor April 1320 nach Paris und kehrte zunächst nicht mehr nach England zurück. Während des Kriegs von Saint-Sardos verdächtigte ihn Erzbischof Walter Reynolds 1324 sogar fälschlicherweise, dass er zusammen mit seinem Bruder Manuel eine Flotte für eine Invasion Englands zusammen stellen würde.