Acusado de formar un frente en connivencia con Castelli contra Wolsey para debilitar la armonía existente entre Inglaterra y Roma, Polidoro fue encarcelado en la Torre de Londres.