ICMI ble grunnlagt på den internasjonale konferansen for matematikere, og det var matematikeren Felix Klein som ble valgt som organisasjonens første president. Det internasjonale tidsskriftet ble startet i 1899 av Henri Fehr og Charles Laisant, og dette tidsskriftet ble tidlig gjort til organisasjonens offisielle organ. ICMI publiserer også en ICMI-bulletin to ganger årlig, og fra og med desember 1995 har denne vært tilgjengelig på internett.