Das Museum nahm als eine Sammlung von Gipsabgüssen, Gravuren und ein paar Exponaten der Weltausstellung 1851 seinen Anfang. Zusammen mit dem Kunstmäzen Henry Cole schuf Prinz Albert, der Gemahl Queen Victorias, dann ein Konzept für ein Museum, das die „Anwendung der Kunst im Handwerk“ zeigen sollte – als Vorbild für die britische Bevölkerung. Cole, dem ersten Direktor, schwebte ein Museum zu Design und Kunsthandwerk in einem kommerziellen Kontext vor, nicht Kunsthandwerk um des Kunsthandwerks willen. Diese Philosophie wird bis heute vertreten. Das bescheidene Museum mit den hochfliegenden Ideen war zuerst in ein paar Holzhütten untergebracht, dann in den sogenannten Brompton Boilers. Es wurde schnell größer. Studienobjekte für die Studenten wurden zusammengetragen, Schenkungen trafen ein: britische Malerei von John Sheepshanks, die Sammlung Bandinel mit Porzellan und Keramik und die Sammlung Gherardini mit Modellen und Skulpturen. Mehrere Räume wurden Stück für Stück angebaut, so dass der zentrale viereckige Hof samt Osthöfen entstand; die Galerien von Aston Webb wurden von 1899 bis 1909 an der Vorderfront ergänzt. Dennoch mussten später ganze Abteilungen ausziehen, um als Zweigstellen des Victoria &amp; Albert Museum oder unabhängige Museen anderswo zu eröffnen: das Science Museum etwa, das Bethnal Green Museum of Childhood und das Theatre Museum.