Museet ligger ute i Dohabukta, i den sørlige enden av Corniche. Bygninga er tegna av I.M. Pei, og er inspirert i tradisjonell islamsk arkitektur. Arkitekten ønska at den skulle ligge for seg selv, uten andre forstyrrende bygninger i nærheten. Den befinner seg 59 meter fra land, og rundt den er det en park. Museumsbygninga har et totalt gulvareal på 45 000 m². Den sto ferdig i 2006, to år før åpninga av museet.