Bygnings arkitektur var kontroversiell fra begynnelsen og prins Charles gikk av som museets beskytter i protest mot mangelen av rådgivning over dets formgivning og etter å ha uttalte at den opprinnelige planen var «et vanskapt karbunkel». Opprinnelig tenkt som en forlengelse av det tilstøtende viktorianske museum utviklet det seg etterhvert til å bli et eget museum i egen rett, skjønt består av de to museer forbundet sammen.