Dronning Victoria var ved Osborne House da hun døde i 1901 og etter hennes død donerte sønnen Edward huset til nasjonen. Under første verdenskrig ble huset brukt for rekonvalesens for offiserer, Robert Graves og A.A. Milne var blant de som hvilte ut der.