Im Februar 1322 drängte Eduard II. Papst Johannes XXII. dazu, seinen Günstling Robert Baldock zum Bischof der nächsten zu besetzenden englischen Diözese zu ernennen. Zugleich empfahl der König aber auch Airmyn für weitere kirchliche Ämter. Airmyn legte im Mai 1324 sein Amt als Keeper of the Rolls nieder, als er als Nachfolger des zum Kanzler ernannten Robert Baldock Keeper of the Privy Seal wurde. Im Frühjahr 1325 gehörte Airmyn der Gesandtschaft an, die am 31. Mai 1325 im Krieg mit Frankreich einen Waffenstillstand aushandelte. Mit Unterstützung durch den König und durch Königin Isabelle war Airmyn am 7. Januar 1325 zum Bischof der Diözese Carlisle gewählt worden. Airmyn legte nun sein Amt als Keeper of the Privy Seal nieder, doch der Papst annullierte die Wahl und ernannte stattdessen John Ross zum neuen Bischof von Carlisle. Der Papst versprach aber, in Kürze auch Airmyn zum Bischof zu erheben, und am 19. Juli 1325 ernannte er ihn zum Bischof der Diözese Norwich. Da aber damit Robert Baldock übergangen wurde, beschlagnahmte der verärgerte König die Temporalien der Diözese. Airmyn war zu der Zeit immer noch in Frankreich, und nun wurde er beschuldigt, dort Kontakt mit dem französischen König Karl IV., den Bruder von Königin Isabelle gesucht zu haben. Der König behauptete, dass Airmyn nur durch den Einfluss von Karl IV. und von Isabelle vom Papst zum Bischof ernannt worden, doch offenbar war der König auch über die Bedingungen des von Airmyn ausgehandelten Friedensvertrag verärgert, den er allerdings selbst im Juni 1325 bestätigt hatte. Airmyn bat daraufhin den Papst um Hilfe, um den Zorn des Königs zu beschwichtigen. Er selbst kehrte vor Dezember 1325 nach England zurück, doch er folgte Anfang 1326 nicht dem Aufruf des Königs, am Hof zu erscheinen. Nachdem der König im März 1326 die Verhaftung von zweien seiner Brüder befahl, floh er wieder nach Frankreich.