Museet ligger i kommunesenteret Rørvik, nær hurtigrutekaien, og er et karakteristisk landemerke langs kysten. Museets nybygg, som ble åpnet av Kong Harald 16. juni 2004, er tegnet av arkitekt Gudmundur Jonsson, og ble nominert til en av Europas viktigste arkitekturpriser, Den europeiske unionens pris for samtidsarkitektur: "Ludwig Mies van der Rohe"-prisen 2005.