James, en el corazón del barrio de Mission, en San Francisco, California, donde fue el capitán del equipo, siendo elegido en el mejor quinteto de la California Catholic Athletic League en 1940 y 1941, y ese último año además MVP, tras conseguir liderar la ciudad en anotación, con 176 puntos (18 por partido).