Frogmore House wurde 1680 erbaut und 1792 von Königin Charlotte gekauft. Königin Victorias Mutter, Victoria von Sachsen-Coburg-Saalfeld, Duchess of Kent, lebte hier als Witwe und wurde später in einem für sie im Park erbauten Mausoleum (siehe unten) bestattet. Nach ihrem Tod diente Frogmore House diversen Verwandten der königlichen Familie als Wohnsitz. Um 1900 lebten hier etwa Admiral Prinz Ludwig Alexander von Battenberg und Prinzessin Victoria Alberta von Hessen und bei Rhein, eine Enkelin Königin Victorias. Ihr Sohn Louis, später Erster Seelord und Vizekönig von Indien, wurde in Frogmore House geboren. Am 19. Mai 2018 fand hier der Hochzeitsball für Harry, Duke of Sussex und Meghan Markle auf Einladung des Bräutigamsvaters, Charles, Prince of Wales, statt "(siehe auch: Hochzeit von Prinz Harry und Meghan Markle)".