Джеймс Файнс был женат дважды. Первой его женой стала Джоан, женщина неизвестного происхождения, родившая сына Уильяма, 2-го барона Сэй и Сил (погиб в битве при Барнете в 1471 году), и дочь Элизабет (умерла в 1475 году), жену 1) Уильяма Кроумера, 2) Александра Идена и 3) сэра Лоуренса Рейнсфорда. После смерти Джоан барон женился на Эммелине Кроумер, сестре своего зятя. В этом браке родились ещё две дочери.