Родился в Тринидаде и Тобаго — тогда британской колонии. Окончил Queen’s Royal College, затем работал школьным учителем. Затем Джеймс становится журналистом крикета и публицистом. Был членом антиколонизаторской группы «Beacon», сформированной вокруг одноименного журнала («The Beacon»). В 1932 поехал в Ланкашир, надеясь что это поможет его писательской карьере. Там он работал спортивным корреспондентом в «Manchester Guardian» и помог игроку в крикет Лири Константину ("Learie Constantine") написать автобиографию. В 1933 году Джеймс переехал в Лондон, где проводил кампанию за независимость Вест-Индии. Одновременно он стал одним из ведущих представителей панафриканизма и Интернационала африканских друзей Абиссинии, сформированного в 1935 году в ответ на вторжение итальянских фашистов на территорию Эфиопии.