Andrea Ammonio, en italiensk prest som paven hadde sendt til England, var blitt Henrik VIIs latinske sekretær, og i 1511 ble han sekretær for Henrik VIII. Ammonio ønsket å bli den neste innsamleren av peterspengene etter Polidoro. Han fanget opp et brev til sin overordnete som komprimerte Polidoro. Ammonio viste brevet til Wolsey, og med dette som bevis ble Polidoro anklaget for å ha undergrave det harmoniske forholdet mellom England og Roma. Polidoro ble fengselet og sendt til forvaring i Tower of London. Fra fengselet sendte Polidoro et brev til Wolsey hvor han krypende ba om nåde og hvor han tryglet på grunn av den raskt kommende julen, forsoningens tid, om han også kunne bli tilgitt. Polidoro hadde også noen mektige beskyttere; pave Leo X skrev til kongen på hans vegne. Hans bønn ble til sist hørt, og på juleaften den 24. desember 1515 ble Polidoro satt fri, men hadde mistet posisjonen som innsamler. Han oppga livet som diplomat og henga seg deretter for litteraturen. Fengslingen gjorde Polidoro til en besluttsom fiende av Wolsey, og hans syn på Wolsey kom til uttrykk i hans og siden videreført av andre forfattere.