Durante el conflicto de 1999, Rexhepi se unió al Ejército de Liberación de Kosovo, donde pasó tres meses como médico. Fue miembro del segundo partido político más importante del país, el Partido Democrático de Kosovo. En las elecciones generales de noviembre de 2001 en Kosovo, su partido obtuvo el 25,7 % de los votos, el segundo después de Ibrahim Rugova, de la Liga Democrática de Kosovo, y Rexhepi fue nombrado primer ministro por la Asamblea de Kosovo el 4 de marzo de 2002. En las siguientes elecciones generales, celebradas el 24 de octubre de 2004, el Partido Democrático de Kosovo volvió a obtener el segundo lugar, con treinta escaños en el parlamento.