Palasset ble remodulert i 1544 med tak malt av Hans Holbein den yngre, og ble beskrevet som et «behagelig rojalistisk hus». To av barna til Henrik VIII døde i dette palasset, Henry FitzRoy, 1. hertug av Richmond og Somerset (1536)og Maria I av England (1558) Elisabeth I av England bodde ofte i palasset, og det er sagt at hun tilbrakte natten der i påvente av at den spanske armada skulle seile opp den engelske kanal.