1999 nahm Mahmut Yilmaz an der Junioren-WM in Nigeria teil und wurde beim Vorrundenaus der deutschen U-20-Auswahl in zwei von drei Spielen eingesetzt. Vom September 1999 bis zum August 2001 gehörte er dem Kader der U-21-Elf des DFB an, die aber die Qualifikation zur EM 2002 verpasste. Mahmut Yilmaz bestritt in diesem Zeitraum 16 Länderspiele, in denen er vier Tore erzielte.