Si Brenton Rickard remporte un premier titre national en grand bassin en 2004 sur 50 m brasse, il rate la qualification pour les Jeux olympiques d'été de 2004 sur les deux épreuves figurant au programme olympique : les 100 et 200 m brasse. L'Australien s'illustre néanmoins lors de la saison en petit bassin en s'affirmant sur le plan national et en faisant une percée au niveau international. En effet, à l'occasion des Mondiaux en petit bassin d'Indianapolis, le brasseur remporte quatre médailles, toutes en argent. En 2005, il remporte pour la première fois le titre de champion d'Australie du 100 m brasse en grand bassin, un succès qu'il obtient en battant le record national. Au niveau international, après une année 2005 marquée par des performances décevantes lors des Championnats du monde de Montréal, l'année 2006 est marquée par une succession de rendez-vous dans lesquels Brenton Rickard se distingue. Il remporte ainsi quatre médailles dont une en or aux Jeux du Commonwealth, trois autres dont une en or lors des Mondiaux en petit bassin et deux lors des championnats pan-pacifiques.