Pierwszy sukces Jan Ullrich osiągnął w 1993 roku, kiedy zdobył złoty medal w wyścigu ze startu wspólnego amatorów podczas mistrzostw świata w Oslo. Największe sukcesy odniósł jako zawodnik grupy zawodowej Team Telekom (obecnie T-Mobile Team). W T-Mobile ramy jego roweru produkowała firma Giant, a wcześniej Pinarello. W 1996 roku w Tour de France zajął 2. miejsce, przegrywając jedynie z Duńczykiem Bjarne Riisem (który jednak został skreślony w 2007 roku z listy zwycięzców). Trzykrotnie (1996, 1997, 1998) wygrywał klasyfikację młodzieżową w TdF. W 1997 jako pierwszy Niemiec w historii wygrał ten najbardziej prestiżowy wyścig kolarski świata. Od tego czasu wielokrotnie plasował się w czołówce Tour de France, był drugi w 1998 roku (przegrał z Marco Pantanim), w latach 2000, 2001 i 2003 (przegrywał z Lance Armstrongiem), oraz czwarty w 2004 roku; do 2004 wygrał łącznie 7 etapów. W 1999 roku wygrał dwa etapy i klasyfikację generalną innego wielkiego wyścigu – Vuelta a España. W 2004 roku wygrał także Tour de Suisse.