Oboje jego rodzice, tak ojciec Mordechaj (zm. 1916),jak i matka Rajzel z domu Perlow wywodzili się z opatowskich rodzin chasydzkich. Abraham Joszua był ich najmłodszym, szóstym dzieckiem. Uzyskał tradycyjne żydowskie wykształcenie w jesziwie zakończone smichą czyli rabiniczną ordynacją. Następnie studiował na Uniwersytecie w Berlinie, broniąc na tej uczelni pracę doktorską, która została wydany po niemiecku przez Polską Akademię Umiejętności w 1936 roku pt. „Prorocy”. Równolegle zgłębiał wiedzę rabiniczną w Wyższej Szkole Nauk Judaistycznych, którą zakończył ponowną ordynacją rabiniczną. Jego nauczycielami byli Chanoch Albeck, Ismar Elbogen, Julius Guttmann i Leo Beck. W 1937 roku Martin Buber powołał go na swego następcę w Domu Nauki Żydowskiej we Frankfurcie nad Menem. Jego pobyt w Niemczech nie trwał długo. Z powodu nazistowskich represji w 1938 roku został stąd wydalony. Pierwszym miejscem zatrzymania była Warszawa, gdzie kilka miesięcy wykładał w Instytucie Nauk Judaistycznych. Następnie w lecie 1939 roku wyjechał do Wielkiej Brytanii, a stamtąd w 1940 roku do USA. Heschel 10 grudnia 1946 roku poślubił pianistkę Sylwię Straus. Z ich związku urodziła się córka Susannah Heschel (obecnie profesor studiów żydowskich w Dartmouth College). W USA pracę wykładowcy podjął najpierw w Hebrew Union College w Cincinnati, w którym nauczano zgodnie z zasadami przyjętymi przez reformowany kierunek judaizmu. Krytyczny stosunek Heschela do tych zasad skłonił go do przejścia w 1946 roku do Jewish Theological Seminary of America w Nowym Jorku, które reprezentowało kierunek konserwatywny (umiarkowany),choć i z nim do końca się nie identyfikował. W uczelni tej piastował funkcję profesora etyki i mistyki żydowskiej aż do śmierci. Pisał po niemiecku, hebrajsku, w jidysz i po angielsku.
Obok prac dotyczących średniowiecznej filozofii żydowskiej, kabały i chasydyzmu, tworzył także poezję. Do najważniejszych jego dzieł należą: Man is Not Alone (Człowiek nie jest sam),God in Search of Man (Bóg szukający człowieka),The Sabbath (Szabat) i The Prophets (Prorocy). Heschel angażował się jednocześnie w wiele spraw publicznych: wspierał zaprzyjaźnionego z nim Martina Luthera Kinga w walce o równouprawnienie Murzynów, wywarł poważny wpływ na zmianę stosunku Kościoła katolickiego do judaizmu, co wyraz znalazło w deklaracji Nostra aetate przyjętej na II Soborze Watykańskim, występował zdecydowanie o respektowanie praw obywatelskich w USA oraz na rzecz wolności dla Żydów w Związku Sowieckim. W 2009 roku został wydany tomik jego młodzieńczych wierszy Niewypowiedziane imię Boga: Człowiek. W oryginale zapisane w języku jidysz, przetłumaczone na język polski, przez krakowskiego orientalistę, judaistę i tłumacza Przemysława Piekarskiego.