Георг IV взошёл на престол в 1820 году с намерением создать ряд королевских дворцов, соответствующих его богатству и влиятельности как правителя Британской империи. Он убедил парламент выделить ему на реставрацию £300 000 (£245 млн в ценах 2008 года). Архитектором был выбран Джеффри Уайетвилль, работы начались в 1824 году. Террасы были закрыты для посетителей, фасад Верхнего двора был полностью переделан и приобрёл современный облик. Круглая башня была надстроена на 9 метров, большинство апартаментов Верхнего двора были переделаны, было построено несколько новых башен, значительно выше прежних. Статуя Карла II была перенесена из центра Верхнего двора к подножью холма. Также был добавлен Зал Ватерлоо, посвящённый победе над Наполеоном в 1815 году. На момент смерти Георга IV в 1830 году работы ещё не были закончены, но были в общих чертах завершены к смерти Уайетвилля в 1840 году. Общая сумма расходов на замок превысила миллион фунтов.