父はジャコバイトに加担した廉で1746年に大逆罪で有罪となり、処刑のうえキルマーノック伯爵位も没収されたので、ジェイムズは父から爵位を継承できなかった(ただしキルマーノックの土地は相続した)。