Klubben ble stiftet i 1899, og er Malmös eldste fotballklubb. IFK Malmö deltok i første sesong av Allsvenskan, som ble spilt 1924/25. Klubben har sammenlagt 13 sesonger i Allsvenskan, og har en andreplass i 1960 som beste resultat i serien. I 1961 tok klubben seg til kvartfinalen i Serievinnercupen, hvor de tapte for Rapid Wien. på hjemmebane bruker spillerne drakter som består av en gul overdel, hvit shorts og hvite sokker. I forkant av 2009-sesongen byttet IFK Malmö hjemmebane fra Malmö IP til Malmö Stadion. IFK Malmö er ofte omtalt som «di gule», med referanse til lagets gule hjemmedrakt, og som en kontrast til lagets tidligere argeste rival, Malmö FF, «di blåe». Klubbenes tidligere rivalisering er betydelig nedtonet, da lagene ikke har spilt i samme serie på nesten femti år.