Fra og med 1938 ble østsiden av stedet ombygd med bygningen som nå huser Forsvarsdepartementet (MOD), nå kjent som MOD Main Building. En kjeller eller lagerrom fra kardinal Thomas Wolseys Great Chamber, nå kjent som «Henrik VIIIs vinkjeller», er et fint eksempel på et hvelvet tak i murstein fra Tudortiden, rundt 21 meter langt og 9 meter bredt. Det ble vurdert til at det forstyrret planet til en ny bygning, men også den foreslåtte ruten for Horse Guards Avenue. Følgelig ble den innkapslet i stål og betong og flyttet 3 meter mot vest og lagt nesten 19 6 meter dypere i 1949, da byggingen ble gjenopptatt på stedet etter den andre verdenskrig. Dette ble utført uten vesentlige skader på strukturen, og den hviler nå i bygningens kjelleretasje.