Han var den eldste sønnen av Archibald Campbell og hans tredje kone Margaret Graham. Han var en yngre halvbror av Archibald Campbell, 5. jarl av Argyll. Colins besteforeldre på morsiden var William Graham, 3. jarl av Menteith og Margaret Moubray.