Ilmari Salminen commence sa carrière internationale en 1934 lors de la première édition des Championnats d'Europe à Turin. Il y remporte le titre du 10 000 mètres et la médaille de bronze du 5 000 mètres. En 1936, aux Jeux olympiques de Berlin, il s'impose en finale du 10 000 mètres, devançant ses compatriotes Arvo Askola et Volmari Iso-Hollo. En 1937, Salminen établit un nouveau record du monde de la discipline en réalisant 30 min 05 s 6, puis remporte l'année suivante un nouveau titre continental à l'occasion des Championnats d'Europe de 1938 à Paris. Il met un terme à sa carrière au début de la Seconde Guerre mondiale.