I OL 2004 i Athen gikk endelig drømmen om olympisk gull i oppfyllelse, da han spurtslo Bernard Lagat i finalen på 1500 meter. Og noen dager senere satte El Guerrouj kronen på verket med sin andre gullmedalje, denne gang på 5000 meter, foran Kenenisa Bekele fra Etiopia.