Il 2005 fu invece un anno più difficile. Nonostante a metà della stagione precedente il pilota inglese si fosse accordato con la Williams, la BAR si oppose con successo al suo passaggio nel team britannico. All'inizio della stagione la vettura si rivelò un netto passo indietro rispetto a quella della stagione precedente, tanto da non permettere al pilota inglese di marcare punti nelle prime tre gare del campionato. A Imola Button si qualificò terzo e chiuse la gara nella stessa posizione, ma a fine gara la sua vettura e quella del compagno di squadra Takuma Satō furono trovate sottopeso e i due furono squalificati. Dopo ulteriori verifiche, la FIA squalificò per due gare la scuderia anglo-americana, accusata di aver utilizzato un serbatoio aggiuntivo per far rientrare nel peso regolamentare le vetture. Al rientro dalla squalifica Button chiuse fuori dai punti il Gran Premio d'Europa, mentre in Canada il pilota inglese uscì di scena per incidente dopo aver fatto segnare la pole position. Dopo il ritiro per motivi di sicurezza imposto dalla Michelin nel Gran Premio degli Stati Uniti, nel Gran Premio di Francia, decima gara della stagione, Button conquistò finalmente dei punti, giungendo quarto.