选择留在查尔斯顿附近的英军战俘营。霍根留在战俘营很可能是为了防止英国陆军招募投降的大陆军士兵参加西印度群岛战事。由于战俘营待遇恶劣，他的健康状况很快恶化，最终于1781年1月4日在查尔斯顿港半岛哈德尔波英特去世。
早年生活.美国独立战争爆发前，詹姆斯·霍根总体上默默无闻，因此他早年的大部分经历都不为人所知。霍根生于爱尔兰，于1751年移民北卡罗莱纳殖民地，并在同年10月3日与露丝·诺弗莱特（）成婚。两人的独子名叫雷米尔（）。霍根的家在如今北卡罗莱纳州哈利法克斯县的霍布古德（）附近。