Nel 2003 venne assunto come collaudatore dalla Jordan scendendo in pista in vista del Gran Premio di Germania come tester del venerdì, nel Gran Premio di casa ovvero quello ungherese, durante le prove libere di sabato mattina Ralph Firman subì un violento incidente, causato dal distacco dell'alettone posteriore della sua Jordan. Il pilota irlandese rimase pressoché illeso, ma il medico della FIA Sid Watkins non lo autorizzò a prendere parte a qualifiche e gara per timore di postumi. Al suo posto così Eddie Jordan lo schierò pilota titolare divenendo così il primo pilota ungherese a prendere il via in un Gran Premio di Formula 1. In gara si ritirò al giro 34 mentre era in 15ª posizione causa problemi al motore. Per il GP successivo ovvero quello italiano, l'inglese non smaltì i postumi dell'incidente dell'Hungaroring, Baumgartner venne così confermato anche per questa gara, dove riuscì ad arrivare in fondo e a tagliare il traguardo in 11ª posizione. Dopo il rientro dall'incidente di Firman non ebbe più l'occasione di scendere in pista terminando così la stagione.