En 1991, Jeff Rouse se fait remarquer en remportant deux médailles d'or aux championnats du monde, ce qui lui permet de participer aux Jeux olympiques dès l'année suivante à Barcelone. Lors de cette compétition, il remporte l'or au 4 × 100 m 4 nages en compagnie de Nelson Diebel, Pablo Morales, Jon Olsen, Dave Berkoff, Hans Dersch, Mel Stewart et Matt Biondi ainsi qu'une médaille d'argent sur dos individuel. En 1994, il récolte encore deux médailles aux championnats du monde, soit une d'or, une d'argent. De retour aux Jeux olympiques, mais dans son pays, il remporte deux médailles d'or, une encore une fois au 4 × 100 m 4 nages avec Jeremy Linn, Mark Henderson, Gary Hall Jr., Josh Davis, Kurt Grote, John Hargis et Tripp Schwenk. Son autre médaille d'or est obtenue sur dos.