Haftar syntyi vuonna 1943 Ajadbiyan kaupungissa Itä-Libyassa. Hänen perheensä kuului suureen klaaniin Ajdabiyassa ja Sirtessä vaikuttavassa al-Firjanin heimossa. Nuorena upseerina hän liittyi Muammar Gaddafin johtamaan salassa perustettuun upseerien ryhmään, jonka innoitus oli peräisin Egyptin johtaja Gamal Abdel Nasserilta. Myöhemmin hän oli osa eversti Gaddafin johtamaa upseerien ryhmää, jotka syöksivät vallasta Libyan kuningas Idris I:n vuonna 1969. Gaddafi ylensi Haftarin everstiksi ja asetti tämän libyalaisten joukkojen johtoon Tšadin–Libyan konfliktin aikana 1986. Libya kärsi konfliktin aikana tappion Ranskan tukemille tšadilaisille ja Haftar itse päätyi sotavangiksi 300 sotilaansa mukana vuonna 1987. Gaddafi oli aiemmin kiistänyt libyalaisten läsnäolon Tšadissa ja katkaisi välinsä Haftariin. Sittemmin Haftar päätyi maanpakoon Yhdysvaltoihin ja omistautui Gaddafin hallinnon kumoamiselle. Haftar asui Virginiassa lähellä CIA:n päämajaa Langleyssä ja piti todennäköisesti yllä läheisiä suhteita keskustiedustelupalvelun kanssa, joka tuolloin tuki esimerkiksi lukuisia salamurhayrityksiä Gaddafia vastaan.