Селестина
7 февраля 1831 года Хьюджер женился на своей кузине Элизабет Селестин Пинкни. У них было пять детей: Бенджамин, Юстас, Френсис, Томас и Селестина. Один из них, Фрэнсис Кинлох Хьюджер, также окончил Вест-Пойнт в 1860 году. Впоследствии он вступил в армию Конфедерации, дослужился до звания подполковника и к концу войны командовал батальоном полевой артиллерии.