Henry var den eneste sønn av John Hallam, kannik ved Windsor og domprost ved Bristol. Han tok utdannelse ved Eton College og Christ Church ved University of Oxford, uteksaminert i 1799. Han praktiserte en stund som advokat rundt i Oxford, men ved sin fars død i 1812 da han arvet en liten eiendom i Lincolnshire henga han seg helt for akademiske studier. Han ble knyttet til flere forfattere og politikere som var ledende den konservative partiet, Whigene, men han tok ikke del i politikken selv. Han støttet dog mange av de populære bevegelsene, i særdeleshet den som førte til avskaffelsen av slavehandelen.