I 1365 og 1366 hadde Langham vært involvert i anti-pavelige tiltak i England, men han ble allikevel utnevnt til kardinal i 1368. Dette førte til at han tapte sitt gode forhold til kong Edvard III. To måneder etter å ha blitt kardinal gikk han derfor av som erkebiskop, og reiste til Avignon, der paven residerte på denne tiden. Han ble tatt i nåde, og fikk lov til å inneha mindre embeter i England. I 1374 ble han igjen valgt til erkebiskop av Canterbury, men takket nei til dette.