Roku 1851 byla v Hyde Parku pořádána Světová výstava, pro niž byl postaven Crystal Palace. Úspěch výstavy vedl prince Alberta k návrhu na výstavbu série specializovaných staveb určených ke konání akcí pro pobavení veřejnosti. Postup prací na tomto záměru byl pomalý a roku 1861 princ Albert zemřel. Přesto byla navržena výstavba památníku věnovaného jeho památce s obrovskou halou poblíž. Z výtěžku výstavy byly zakoupeny pozemky v Hyde Parku. V dubnu 1867 po navýšení zbylých prostředků z výstavy královna Viktorie vydala královský dekret a 20. dubna byl položen základní kámen.