Ramelow debuterte for Tyskland den 10. oktober 1998 i en EM-kvalifiseringskamp mot Tyrkia, en kamp de tapte 0-1. Han ble tatt ut i troppen til EM 2000, men satt på benken hele turneringen. Tyskland fikk en tidlig exit på mesterskapet ved at de ble slått ut i gruppespillet. Han ble også tatt ut i troppen til VM 2002 der han spilte fem kamper for den tapende finalisten og fikk et rødt kort i 2-0 seieren over Kamerun i gruppespillet.