Народився в Тринідад і Тобаго — тоді британській колонії. Закінчив Queen's Royal College, потім працював шкільним вчителем. Серед його учнів був молодий , який згодом стане першим прем'єр-міністром незалежного Тринідаду і Тобаго. Потім Джеймс стає журналістом крикету і публіцистом. Був членом антиколонізаторської групи «Beacon», сформованої навколо однойменного журналу («The Beacon»). У 1932 поїхав в Ланкашир, сподіваючись що це допоможе його письменницькій кар'єрі. Там він працював спортивним кореспондентом в «Manchester Guardian» та допоміг гравцю в крикет Лірі Костянтину ("Learie Constantine") написати автобіографію. У 1933 році Джеймс переїхав у Лондон, де проводив кампанію за незалежність Вест-Індії. Одночасно він став одним з провідних представників панафриканізму й Інтернаціоналу африканських друзів Абіссінії, сформованого у 1935 році у відповідь на вторгнення італійських фашистів на територію Ефіопії.