На летних Олимпийских играх 2004 года Келлер выступил уже на трёх дистанцих. В первый же день олимпийского турнира пловцов Келлер повторил успех сиднейских игр и вновь стал бронзовым призёром на дистанции 400 метров вольным стилем. Спустя два дня Келлер выступил на 200-метровке вольным стилем, но занял лишь 4-е место. В эстафете 4×200 метров вольным стилем сборная США заняла первое место и Келлер впервые стал олимпийским чемпионом. В 2005 и 2007 годах Келлер ещё дважды стал чемпионом мира. Оба успеха были добыты в эстафетах 4×200 метров.