Augustine Choge fait ses débuts sur la scène internationale à l'occasion des Championnats du monde de cross-country 2003, se classant quatrième de la course junior garçon et remportant la médaille d'or de la course par équipe avec ses coéquipiers de l'équipe du Kenya. La même année, il enlève trois titres lors des Championnats d'Afrique de l'Est Jeunesse, sur 800, 1 500 et 3 000 mètres. Il s'adjuge enfin le 3 000 m des Championnats du monde d'athlétisme jeunesse 2003 de Sherbrooke (Canada) devant l'Éthiopien Tariku Bekele. En 2004, Choge remporte l'épreuve du 5 000 m des Championnats du monde junior de Grosseto en 13 min 28 s 93, avant de se classer 3 de la Finale mondiale de l'athlétisme disputée en fin de saison à Monaco. Il réédite cette performance un an plus tard en terminant à la troisième place du 3 000 m.