Foster wystartował na igrzyskach olimpijskich dwukrotnie. Po raz pierwszy, jako siedemnastolatek, wziął udział w trzech konkurencjach pływackich podczas IV Letnich Igrzysk Olimpijskich w Londynie w 1908 roku. W sztafecie 4 × 200 m w stylu dowolnym wraz z drużyną brytyjską zdobył mistrzostwo olimpijskie. Stał się tym samym najmłodszym z brytyjskich mistrzów, a stan ten utrzymał się do igrzysk w Pekinie w 2008 roku. Na dystansie 400 metrów stylem dowolnym zajął czwarte miejsce, a na 1500 metrów odpadł w fazie półfinałowej.