A szervezet egyik elődje az 1918. november 30-án létrehozott Ifjúmunkások Országos Szövetsége (IOSZ) volt, amely megalakulásától kezdve kommunista álláspontot képviselt. A KIMSZ másik elődje az MSZDP által 1919 elején létrehozott Szocialista Ifjúmunkások Országos Szövetsége (SZIOSZ) volt. Ez a két szervezet a Magyarországi Tanácsköztársaság kikiáltása (1919. március 21.) után 1919. április 6-án egyesült Kommunista Ifjúmunkások Magyarországi Szövetsége néven. A KIMSZ-nek a kommün alatt szerepe volt a fiatal munkások, diákok mozgósításában a románok és csehek ellen (északi hadjárat). A kommün bukása után illegalitásba kényszerült, s tagjait üldözni kezdték. Az 1920-as évek elején az ugyancsak illegálisan működött KMP segítségével szervezték újra. Először 1922-ben, majd pedig 1928 és 1934 között jelent meg illegális lapja, az Ifjú Proletár. A szervezet második kongresszusára 1930 júliusában került sor, Ausztriában. Itt elfogadták a KIMSZ helyzetéről és feladatköréről szóló tervezetet, amelyet később népfrontos ifjúsági programmá dolgoztak át, s terjesztették a munkások között. Utódja a Kommunista Ifjúsági Szövetség (KISZ) lett.