Museet ble grunnlagt i 1888 som (samlingen av eldre musikkinstrumenter), av Philipp Spitta og Joseph Joachim ved den kongelige høyskole for musikk. De første utstillingsobjektene kom fra Kunstindustrimuseet i Berlin.