ホワイト・ロッジは18世紀末までに一時荒廃したものの修復され、1805年にはジョージ3世が首相ヘンリー・アディントンに下賜した。ジョージ3世は農業と園芸に熱意を傾けたことから農夫ジョージ（Farmer George）と呼ばれたが、自身をリッチモンド公園の保護官に任じ、アディントンを副保護官とした。トラファルガーの海戦の6週間前の1805年9月10日、ホレーショ・ネルソンがホワイト・ロッジに滞在していたアディントンを訪ね、海戦の作戦を説明した、と言われている。