Museet skapades i samband med att konstsamlingarna från Göteborgs museum bröts ut för ett eget museum. Med ekonomiska medel bidrog bland annat bankdirektören Jonas Kjellberg, som 1916 donerade SKF-aktier. Under 1917 och 1918 utlystes arkitekttävlingar för gestaltning av Götaplatsen. Planen var att arbetet skulle vara färdigt till Jubileumsutställningen 1923 och att platsen skulle utgöra "en monumental afslutning på Kungsportsavenyn"; det fanns däremot inget krav på ett konstmuseum. Efter den andra tävlingsomgången tilldelades uppdraget arkitektkonsortiet ARES Arvid Bjerke, Ragnar Ossian Swensson, Ernst Torulf och Sigfrid Ericson, men det var bara Bjerke och Ericson som kom att arbeta med projektet. Huvudritningarna började tas fram år 1919, och själva byggarbetet inleddes 1921. Byggnaden stod klar 1923, och fasaden pryddes då med sju träsköldar med motiv som skapats av Carl Milles. Ursprungligen skulle de göras i brons och Sigfrid Ericsson skriver om dem att ’’I den mörknande bronsens kraftiga färg skulle de säkerligen stå vackert mot en grågul tegelyta’’. Troligen hann de inte bli klara i tid, utan man skapade tillfälliga i trä och gips som sedan kunde ersättas. Dessa togs ner 1928, men uppsättningsanordningarna kan fortfarande ses ovan de sju valvbågarna.