Murray war von Beruf Bauarbeiter. Er war ab 1917 in der irischen Befreiungsbewegung aktiv. Während des Irischen Unabhängigkeitskrieges kommandierte Murray das IRA-Bataillon von Antrim. Ab 1922 war er Mitglied der anti-treaty IRA. Von 1928 bis 1931 besuchte Murray die Internationale Lenin-Schule in Moskau. Zwischen 1931 und 1933 war er Organisator der Revolutionären Arbeitergruppen ("Revolutionary Workers’ Groups", RWG). 1933 gehörte er zu den Mitbegründern der Kommunistischen Partei Irlands ("Communist Party of Ireland", CPI) und war deren Generalsekretär von 1933 bis 1940.