Født på Jersey i 1922 som sønn av en blomsterhandler, vokste Le Brocq opp på øya og fikk som gutt et stipend til Victoria College. Han ble involvert i politikk under sin tid på Victoria College og var en tilhenger av de internasjonale brigadene under den spanske borgerkrigen. I løpet av tenårene ble han steinhugger og fagforeningsaktivist for Transport and General Workers' Union, noe han måtte skjule under andre verdenskrig etter at de tyske okkupasjonsstyrkene forbød fagforeninger. På et tidspunkt før okkupasjonen hadde Le Brocq sluttet seg til Communist Party of Great Britain (CPGB) før andre verdenskrig.