Gatlin kom på 2.-plass på både 100 og 200 meter i det amerikanske OL-uttaket, som også var USA-mesterskapet i friidrett 2004. VIed OL 2004 i Athen vant han gullmedaljen på 100 meter på tiden 9,85, der han slo Francis Obikwelu fra Portugal og tittelforsvareren Maurice Greene. Tiden hans var personlig rekord, og var det nest raskeste 100 metersløpet i OLs historie. Han tok også bronse på 200 meter, og sølv med det amerikanske laget på 4 x 100 meter stafett.