مقاطعة تيرون
سرعان ما قابل زوجته المستقبلية هانا، وتزوجا في 24 يونيو 1821. كانت هانا من نسل المهاجرين البريسبيتيريين من باليغاولي في مقاطعة تيرون، أيرلندا.  بعد عشرة أشهر من زواجها، أنجبت هانا يوليسيس الطفل الأول لها ولجيسي. اختاروا اسم الطفل يوليسيس عبر القرعة بأوراق موضوعة في قبعة. إكرامًا لحماه، أعلن جيسي أن اسم الولد سيكون هيرام يوليسيس بالرغم من أنه سيظل يدعوه يوليوس.