I 1082 ble han brått fratatt alle ære og fengslet for å ha planlagt en militær ekspedisjon til Italia. Bakgrunn og hans eventuelle motiver er uklare. Kronikører som skrev en generasjon senere hevdet at Odo aktet å gjøre seg selv til pave, men det er vanskelig å vurdere den historiske påliteligheten i dette. Hva som enn lå bak, er det åpenbart at Vilhelm Erobreren var kraftig irritert og allerede hadde begynte å betvile halvbrorens hederlighet og lojalitet. En teori har antydet at Odo hadde til hensikt å forsvare paven mot den tysk-romerske keiseren. Uansett årsak ble Odo nødt til å tilbringe fem år i fengsel, og alle hans engelske eiendommer og besittelser ble inndratt av kronen. Hans posisjon som jarl av Kent ble også tilbakekalt, dog ikke som biskop av Bayeux.