Norreys hjalp kongen å iscenesette Thomas Wolseys fall, og han var til stede da Wolsey gikk av. Den 24. oktober 1529 var han kongens eneste tjener da kongen dro sammen med Anne Boleyn og hennes mor for å inspisere Wolseys eiendommer. Han var budbærer for kongens beskjed til Wolsey ved Putney ved omtrent samme tid og det synes som om han var berørt av Wolseys dårlige forfatning.