Hvalfangstmuseet ble etablert direkte i et nybygg tegnet av Niels Winge Grimnes (1885–1922). Gjennom den arkitektoniske utformingen, fremhever bygningen museets mest ikoniske gjenstand - en blåhvalmodell i full størrelse - som kan betraktes fra et vandregalleri båret av tolv søyler. I 1981 ble museet bygget ut og fikk plass til en egen kulturhistorisk avdeling. Denne fløyen ble i 2018 utvidet ytterligere og gir rom til nye kulturhistoriske utstillinger og publikumsfasiliteter. Den eldste bygningen rommer den naturhistoriske utstillingen. Utstillingssalen har i seg selv en museumshistorisk verdi, samtidig som fremstillingen av dyrelivet i Arktis og Antarktis også fungerer som en introduksjon til fangsthistorien.