キュー宮殿
ダッチハウスの基礎より下層には、土地の所有者がジョン・ダドリーだった16世紀の建設当時から地下室がある。1558年、息子でレスター伯爵ロバートに所有権が戻った(ロバートはエリザベス1世とは幼少期から友人で宮廷の取り巻きのひとり)。上屋は西向きのレンガ造りで、1563年にロバートがエリザベス女王をもてなしたキューの家として記録にある。当時、女王は近隣のリッチモンド宮殿(en)を主に使っていた。
サミュエル・フォートリーは1619年に借り受けた建物を1631年に地下室を残してすべて取り壊し、跡地に大きな南向きのマナーハウスを建てる。執筆業のサミュエル・フォートリー(en)は子息である。フォートリー父の出自はリール近郊(フランス)の商家なのだが、祖先をめぐる誤解などもあり、この建物は「ダッチハウス」と呼ばれ始める。その名の由来には諸説あるものの、おそらくはオランダの建築様式「職人のマニエリスム」としてオランダ風切妻(en)の外観が目立つ点にある – この様式が実際に流行したのは国外ではなくロンドンやイーストアングリア、イーストケントであった。フォートリーの子孫は1697年に建物を貸しに出し、有力な商人でロンドン市長を経験したリチャード・レヴェット卿(en)の手に渡ると息女メアリーが相続する。
ジョージ4世はダッチハウスの解体も望んだが、実行に至らない。1818年にそこで結婚したことも影響したのか、弟のウィリアム4世は解体せずに西棟を増築して使ってはどうかと考えたが、これも実現しないまま義理の妹ケント公爵夫人ビクトリアとその娘(将来のビクトリア女王)の住まいとして勧めたところ、公爵夫人は「居城とするにはあまりにも古く、ろくに家具も揃っていないゆえ、王女と私にはまったくふさわしくない」と語った。女王となったビクトリアは1844年の夏、一時的に子供3人をダッチハウスにやり、翌年にはアルバート王子とともに夏の離宮としてワイト島のオズボーン・ハウスの改築に取りかかった。よってダッチハウスは1898年まで空き家となり、この年、自身の金婚式の記念にそのオズボーンハウスをシャーロット妃の女王のコテージとともにキューガーデンに移築。それ以前、おそらく1881年にはダッチハウス付属の厩舎と翼棟のほとんどは取り壊しを済ませてあった。