Cole był założycielem i pierwszym dyrektorem oraz sekretarzem "South Kensington Museum", z którego wydzielono później Muzeum Wiktorii i Alberta. Miał decydujący wpływ na funkcjonowanie muzeum od jego powstania po Wielkiej Wystawie z 1851 roku aż do przejścia na emeryturę w 1873 roku.