W reprezentacji Turcji Yılmaz zadebiutował 11 czerwca 2003 roku w wygranym 3:2 meczu eliminacji Mistrzostw Europy 2004 z Macedonią. W tym samym roku został powołany do kadry na Puchar Konfederacji. Zagrał na nim w pojedynkach ze Stanami Zjednoczonymi (2:1), Kamerunem (0:1), Brazylią (2:2), Francją (2:3) i Kolumbią (2:1). W meczu ze Stanami Zjednoczonymi strzelił pierwszego gola w kadrze narodowej. W pojedynkach z Brazylią i Kolumbią także zdobył po jednym golu. Tamten turniej Turcja zakończyła na 3. miejscu.