Schon 1937 hatten sich verschiedene islamisch-nationalistische Organisationen Niederländisch-Indien in dem "Obersten Islamrat Indonesiens" ("Madjelis Islam A'la Indonesia - MIAI") zusammengeschlossen. Nachdem im März 1942 japanische Truppen Java besetzt hatten, bemühte sich die japanische Militärregierung, die dortigen anti-niederländischen islamischen Gruppen weiter zu stärken und für ihre anti-westlichen politischen und militärischen Ziele zu mobilisieren. Schon im März 1942 schuf die Militärregierung ein Amt für religiöse Angelegenheiten, das sogenannte "Shūmubu", das im Oktober 1943 unter indonesische Führung gestellt wurde. Einen Monat später wurde der Masyumi ins Leben gerufen, der als Nachfolgeorganisation des MIAI konzipiert war, der allerdings nur solchen Organisationen offenstand, denen die japanische Militärregierung einen offiziellen Status verliehen hatte. Hierzu gehörten die traditionalistische Nahdlatul Ulama (NU) sowie die modernistische Muhammadiyah und zwei kleinere Organisationen. Muslimische Gelehrte konnten dem Masyumi auch persönlich beitreten, allerdings nur, nachdem sie die Erlaubnis des "Shūmubu" erhalten hatten. Zum Vorsitzenden des Masyumi wurde der NU-Gründungsvorsitzende Hasyim Asy'ari ernannt.