1875年（明治8年）3月18日、フランスのピュイ＝ド＝ドーム県ヴォロール＝ヴィル（クレルモン司教区）で生まれる。生まれてすぐに母を失い、司祭であった叔父に養育された。シュルピエールで中等科を卒業し、クレルモンの大神学校で学び、1898年（明治31年）、助祭としてパリ外国宣教会に入会した。1899年（明治32年）9月23日に司祭に叙階され、同年10月24日、フランスを出発し日本へ向かった。翌1900年（明治33年）、任地の函館教区（現在の仙台教区）に到着、一関の教会で2年間助任司祭として働きながら日本語を覚え、その後3年間、仙台神学校の校長を務めた。1905年（明治38年）から9年間、函館司教座聖堂の主任司祭を務めたが、1914年（大正3年）に第一次世界大戦が勃発すると、看護兵として召集されてフランスに帰国した。終戦後の1918年（大正7年）に再来日し、初代駐日教皇使節フマゾニ・ビオンディ大司教の秘書を1年間務めた後、1921年（大正10年）フランスに戻り、パリ外国宣教会本部顧問会の日本宣教師代表を5年間務めた。1927年（昭和2年）3月16日、教皇ピオ11世により東京大司教に任命され、同年5月4日、パリ外国宣教会総長により司教に叙階された。翌1928年（昭和3年）には邦人司祭を育成するため、東京都板橋区石神井関町（現在の練馬区関町東）に5,000坪の土地を購入し、翌1929年（昭和4年）にはパリ外国宣教会より寄付を得て大神学校を設立し、ソーヴール・カンドウ神父を校長に迎えた。1937年（昭和12年）2月に東京大司教の職務を土井辰雄に委任し同年11月9日に東京大司教区より分離した横浜司教区が新設されると、自らその初代教区長に就任した。しかし、1940年（昭和15年）11月12日にローマ教皇庁からの要請によって辞任し、現在の神奈川県横浜市戸塚区にあるマリアの宣教者フランシスコ修道会修練院に移り、同院付き司祭となった。1948年（昭和23年）2月2日に脳溢血で倒れ、横浜一般病院（ゼネラルホスピタル）に入院し、3ヵ月間の入院で回復したかに見えたが、8月に再び脳溢血で倒れ、同年9月8日に同院にて死去した。
2001年9月18日、ヘクマティヤールはアメリカのアフガニスタン侵攻に反対の意を表し、アメリカに同盟するパキスタンに警告を発した。アフガニスタン侵攻によってターリバーン政権が崩壊した後も、ヘクマティヤールは国際連合が仲介した2001年12月5日の和平合意を拒否する姿勢を明確にし、ドイツで締結されたこの和平合意は、アフガニスタンにアメリカの傀儡政権をもたらすことになる、と述べた。2002年2月10日、イランにおけるイスラーム党のオフィスがすべて閉鎖され、ヘクマティヤール自身もイランから追放された。その後の彼の行方は明らかでない。ターリバーンが再結集しアメリカと戦闘するのを扶助している、とヘクマティヤールはアメリカによって非難されている。また、アメリカ軍兵士の殺害に報奨金を拠出している科でも非難されている。アメリカに支援を受けている、カルザイ大統領の暫定政府のメンバーからも、戦争犯罪者として繰り返し名指しされた。2002年9月5日の、10名余の死者を出したカルザイ大統領暗殺未遂事件の背後にいたことも疑われている。複数の報道でチュニジア国内に潜伏中とされたが、2002年5月のアメリカ政府の発表では、カーブル近郊でCIAがプレデター無人偵察機によってヘクマティヤールを狙撃したものの、彼は難を逃れた。同年9月、ヘクマティヤールは、アメリカに対するジハードを呼びかけるメッセージを録音したテープを公開した。同年12月25日、ヘクマティヤールがアルカーイダの構成員になろうとしていることがアメリカの諜報機関によって明らかにされた、と伝えるニュースが流れた。同ニュースによると、自分はアルカーイダを援助することができる、とヘクマティヤールは語ったと言う。しかし、翌2003年9月1日に公開されたビデオテープでは、彼はアフガニスタンに展開するアメリカと多国籍軍への攻撃は賞賛したものの、ターリバーンあるいはアルカーイダとの同盟は否定した。2003年10月1日、ヘクマティヤールはジャラーラーバード、クナル、ローガル、サロビの地方司令官との停戦を宣言し、これらの司令官は外国人とだけ戦うべきだと述べた。2006年5月、ヘクマティヤールはアルジャジーラにビデオテープを公開し、アフガニスタンの紛争でアメリカを支援しているとイランを非難し、ウサーマ・ビン＝ラーディンの側に立って戦闘を行なう用意があることを表明、また、パレスチナ、イラク、アフガニスタンで現在生じている紛争におけるアメリカの関与を糾弾した。2006年9月、ヘクマティヤールが捕縛されたと報道があったが、これは後に否定された。2006年12月、パキスタン国内でビデオテープを公開し、「(ムジャーヒディーンに敗北した) ソビエト連邦と同じ運命にアメリカも遭う」と述べた。2007年1月CNNは「5年前ウサーマ・ビン＝ラーディンがトラボラの山岳地帯から脱出するのを自派の兵士が手伝った」とヘクマティヤールが述べたと報道し、またBBCも、GEO TVによるインタビューの引用によって「彼ら (ビン＝ラーディンとザワーヒリー) が洞穴から出て安全な場所に逃れるのを我々が助けた」とヘクマティヤールの発言を伝えた 。