Brał udział w dwóch konklawe: we wrześniu 1503 i październiku 1503. 2 sierpnia 1504 został administratorem diecezji Bath i Wells. Z funkcji tej zrezygnował 5 lipca 1518. Podczas podróży do Bolonii wraz z papieżem Juliuszem II napisał poemat pt. "Ite Julii Pont. Ro". Wkrótce potem, popadł w konflikt z papieżem i opuścił Rzym, 1 września 1507. Po śmierci Juliusza II, Castello powrócił do Rzymu i wziął udział w konklawe 1513. Wraz z kardynałami Bandinello Saulim i Alfonso Petruccim, uczestniczył w spisku przeciw Leonowi X; został schwytany, poprosił o przebaczenie i uiścił opłatę 12500 dukatów. Obawiając się śmierci, Castello uciekł z Rzymu do Wenecji i pomimo wezwania papieża nie powrócił do Wiecznego Miasta. 12 kwietnia 1518 został osądzony za niepodporządkowanie się papieżowi: został pozbawiony godności kardynalskiej i biskupstwa, a ponadto musiał sprzedać swoje posesje. Po śmierci Leona X usiłował wziąć udział w konklawe 1521–1522.