Гаскіссон народився в окрузі Біртсмортон, Малверн, Вустершир, син Вільяма і Елізабет Хаскіссон, батьки члени стаффордширський сімей. Він був одним з чотирьох братів. Після того, як їх мати Елізабет померла, батько Вільям  одружився і пізніше мав дітей від другої дружини. Його зведенний брат Томас Гаскінсон був капітаном Королівського флоту, очевидець Трафальгарської битви, і був призначений скарбником Військово-Морського Флоту. Інша його зведенний брат Джордж Гаскіссон був офіцером Королівської морської піхоти до призначення, митника в Сент-Вінсент.