Museet tar for seg Sydneys historie fra kolonitiden gjennom multimedier, gjenstander, kart og bilder, og er bygget på stedet der byens første guvernør Arthur Phillip bodde. Huset hans var bygget i 1788 og var Australias første regjeringsbygg, og ble avdekket under arkeologiske utgravninger i 1983. Museet ble åpnet i 1994.