Kort før første verdenskrig samlet Craig de opposisjonelle unionistiske krefter i provinsen Ulster mot den såkalte Home Rule. I dette øyemed grunnla og organiserte han den paramilitære Ulster Volunteers. De fikk støtte i form av våpenleveranser fra Tyskland. I februar 1921 avløste han Edward Carson som formann for Ulster Unionist Party.