2004-sesongen gjorde BAR og Button store fremskritt. Button fikk hele 10 pallplasseringer og kom blant annet på andreplass i Monaco. Han fikk også sin første pole position i San Marinos Grand Prix. Sammenlagt endte han sesongen på en 3.-plass, bak de to Ferrariene til Michael Schumacher og Rubens Barrichello.