Джеймс Холман родился 7 февраля 1804 года в округе Гаррисон штата Кентукки, США. Родители — Анна и Исаак Холманы. В 1817 году семья переехала в Линкольн (штат Теннесси). В 1822 году женился на своей кузине Марте Вильсон Холман, у них было девять детей. Осенью 1834 года Джеймс Холман со своим братом Уильямом переехал в Сан-Огастин (штат Техас). Во время войны за независимость Техаса участвовал в обороне Бехара, за что позже был награждён землями. После окончания войны и основания Хьюстона, в 1837 году, начал работать в рекламном агентстве. 28 августа 1837 года избран мэром Хьюстона, став первым в этой должности, однако продержался недолго и в декабре того же года оставил пост. В 1838 году неудачно баллотировался в Конгресс США.