Después de heredar Osborne House, el rey hizo retirar las fotografías y pertenencias personales de su madre y algunas de ellas fueron destruidas, especialmente todo aquello relacionado con John Brown, a quien detestaba.