Theodora ville imidlertid at Belisarius skulle utnytte overtaket til å avsette Silverius til fordel for Virgilius, som hadde returnert fra sitt diplomatiske oppdrag til Roma. Belisarius' hustru Antonia påvirket generalen til å følge keiserinnens vilje. Med et forfalsket brev som grunn ble paven anklaget for en forræderisk pakt med den ostrogotiske kong som beleiret Roma. Det het at paven hadde tilbudt kongen å la en port i bymuren stå åpen, og slik slippe inn goterne. Dermed ble Silverius arrestet i mars 537, fratatt sitt embede og ikledt munkehabitt, og landsforvist til Orienten. Vigilius ble konsekrert til pave i hans sted.