Haber ble født i en jødisk familie i Breslau i Schlesien. Han studerte ved universitetet i Heidelberg fra 1886 til 1891 under Robert Bunsen, ved Berlin-universitetet i A. W. Hoffmanns gruppe, og ved det tekniske universitetet i Charlottenburg under Carl Liebermann. I 1891 tok han doktorgraden. Han konverterte fra jødedommen til protestantismen og lot seg døpe i 1892.