Джеймс Файнс принадлежал к старинному рыцарскому роду из Булонне, представители которого обосновались в Англии при Вильгельме Завоевателе, а в последующие века владели землями в Сассексе и ещё четырёх графствах. Джеймс был вторым сыном сэра Уильяма Файнса и его жены Элизабет Батесфорд, а через бабку по отцу происходил от баронов Сэй. Он родился в поместье Херстмонсо примерно в 1390 или 1395 году, в 1402 году потерял отца. Старший брат, сэр Роджер, вероятно, уступил Джеймсу два поместья в Оксфордшире. С юных лет Файнс воевал на континенте под командованием короля Генриха V: он сражался при Азенкуре в 1415 году, участвовал в завоевании Нормандии, в 1419 году стал губернатором города Арк. В качестве награды за службу Джеймс получил сеньорию Корт-ле-Конт в Нижней Нормандии и ряд других владений (1419).