Tidlig i unge kong Edvard VIs kongedømme var hertugen av Norfolk fortsatt fengslet. Den 3. mars 1547 ble John Markham, løytnant ved festningen, beordret til å gi fangen hans klær og personlige effekter tilbake og i februar 1547 ble han tillatt besøk fra familien. Da John Dudley, 1. hertug av Northumberland, kom til politisk makt fikk Howard stadig økte privilegier og i april 1551 fikk han lov til å få besøk av sin sønn Thomas Howard.