James vant en olympisk sølvmedalje i svømming under Sommer-OL 1920 i Antwerpen. Hun var med på det britiske laget som kom på andreplass på 4 x 100 meter fri med tiden 5.40,8 bak USA som satte ny verdensrekord med 5.11,6. De andre svømmerne på det britiske laget var; Constance Jeans, Grace McKenzie og Charlotte Radcliffe.