I 1790 ble Oatlands leid av kronen av Frederick, hertug av York og Albany, den andre sønnen til kong Georg III, og han ble emne for barnerimet «The Grand Old Duke of York». Hans arkitekt var Henry Holland.