Dopo i buoni risultati ottenuti nel 2003, nella stagione 2004 Klien fece il suo esordio in Formula 1 con la Jaguar, andando a sostituire Justin Wilson. La prima stagione fu comunque difficile e l'unico risultato di rilievo fu un sesto posto in Belgio. Per il campionato 2005 venne confermato dalla scuderia nonostante il cambio di nome in Red Bull. La stagione iniziò bene per il pilota austriaco, con la conquista di 3 punti nelle prime due gare. Dal Gran Premio di San Marino, e così per quattro gare, si alternò alla guida della Red Bull con Vitantonio Liuzzi, terzo pilota della scuderia. Tornato titolare, ottenne altri punti e il miglior risultato fu rappresentato dal quinto posto in Cina. Klien fu confermato pilota ufficiale Red Bull anche nella stagione 2006, dove ottenne due ottavi posti in Bahrain e in Germania. Una volta chiaro che la squadra non era intenzionata a rinnovare il suo contratto per il campionato successivo, il pilota austriaco fu lasciato libero e sostituito per le ultime tre gare dal collaudatore Robert Doornbos.