Vorläufer der IMB war die 1946 auf Beschluss der Alliierten in Berlin gegründete "„Interalliierte Musikbibliothek“". Sie diente der provisorischen Versorgung der Klangkörper beim Wiederaufbau des Berliner Musiklebens nach 1945 mit Notenmaterial. Nach der Berlinblockade 1948 wurde die Sammlung ausschließlich durch die Sowjetunion mit Musikalien, Aufführungsmaterialien und Literatur aus osteuropäischen Ländern versorgt. Außerdem öffnete sich die Bibliothek den Komponisten der DDR für die Vervielfältigung und den Verleih nichtgedruckter Werke. 1968 erfolgte die Unterstellung der IMB unter den Verband der Komponisten und Musikwissenschaftler der DDR. Mit den Jahren entwickelte sich die IMB zur größten Spezialbibliothek für ostdeutsche und osteuropäische Musik des 20. Jahrhunderts sowie einer zentralen Leihbibliothek für Orchestermaterial des Ostblocks mit einem Medienbestand von ca. 36.000 Bänden.