Han var sønn av John Campbell, 3. hertug av Argyll, tredje sønn av Archibald Campbell, 9. jarl av Argyll og Elizabeth Elphinstone datter av John Elpinstone, 8. Lord Elphinstone. I 1720 gifta han seg med Mary Drummond Ker, datter av John Drummond Ker, 2. Lord Bellenden av Broughton.