Гаскіссон народився в окрузі Біртсмортон, Малверн, Вустершир, син Вільяма і Елізабет Хаскіссон, батьки члени стаффордширський сімей. Він був одним з чотирьох братів. Після того, як їх мати Елізабет померла, батько Вільям одружився і пізніше мав дітей від другої дружини. Його зведенний брат Томас Гаскіссон був капітаном Королівського флоту, очевидцем Трафальгарської битви, і був призначений скарбником Військово-Морського Флоту. Інший зведений брат Джордж Гаскіссон був офіцером Королівської морської піхоти до призначення митником у Сент-Вінсент.