I løpet av denne tiden var han ofte skilt fra sin hustru, barn og eiendommer ettersom han var kardinalens nærmeste assosierte og fortrolige. Cavendish var trofast mot sin herre selv ved Wolseys fall, og etter kardinalens død ble han kalt for kongens råd og forhørt om Wolseys siste handlinger og ord. Etter sigende skal han ha opptrådt med en slik verdighet at det fiendtlige rådet roste ham. Han trakk seg tilbake, synes det som, som en rik mann til sin eiendom i Glemsford i West Suffolk i 1530. Han var kun tretti år gammel, men hans appetitt til å forholde seg til merkelige lover og personer var tilsynelatende tilfredsstilt ettersom det ikke vitnes om at han siden var engasjert i andre aktiviteter.