タル・ベン・ハイム
マッカビ・テルアビブ
リション・レジオンに生まれたベン・ハイムは、1998年にマッカビ・テルアビブFCの下部組織に入団し、2001年4月30日にハポエル・テルアビブとのテルアビブダービーで90分からトップチーム初出場を飾った。2002-03シーズンはリーグ戦のタイトル獲得に重要な役割を果たし、またシーズン中に引退したガディ・ブルマー（en）に代わり、翌シーズンから主将に任命された。
ボルトン・ワンダラーズ
アストン・ヴィラFCのトライアルに参加するも契約を勝ち取ることは出来ず、その後ボルトン・ワンダラーズFCのトライアルに参加し、2004年7月28日にサム・アラダイス監督率いる同クラブと3年契約を締結。移籍金は15万ポンドと見られている。アラダイス監督は契約締結時に、かつてプレミアリーグで活躍したエヤル・ベルコヴィッチ以来のイスラエル人選手のビッグネームと喜びを語った。
リーボック・スタジアムでの1季目は、公式戦27試合に出場と成功したものだった。2005年2月1日のトッテナム・ホットスパーFC戦（3-1勝利）でステリオス・ギアンナコプーロスのフリーキックから移籍後初にしてボルトンでの唯一となる得点を挙げた。また、これはプレミアリーグの舞台で挙げた唯一の得点となっている。エヴァートンFC戦で相手選手のウェイン・ルーニーに顔を押しやられた際に過剰に反応したとして、不適切な行為とイングランドサッカー協会から起訴されたが、後に容疑は晴れた。
UEFAカップ2005-06のアウェイベシクタシュJK戦では主将の腕章を付けてプレーし、その活躍から普段主将を務めているジェイジェイ・オコチャに称賛された。しかし、ラウンド32のオリンピック・マルセイユ戦では第1戦（ホーム0-0）を無失点に抑えるも、2006年2月23日の第2戦（アウェイ1-2敗北）で68分にオウンゴールをしてしまい、また、この得点により敗退が決定した。
ボルトンでの2季目には素晴らしい守備を披露したことから、チェルシーFC, トッテナム・ホットスパーFC, ウェストハム・ユナイテッドFCなど多くのクラブから関心を集めたが、2007年1月のチェルシーとの契約交渉は最終段階で折り合いがつかず失敗に終わっている。同シーズン終了後にボルトンと契約満了となったベン・ハイムに対し、チェルシーやニューカッスル・ユナイテッドFCへの移行をメディアは報じ、元ボルトンでニューカッスルのサム・アラダイス監督はオファーをする準備が出来ていることを認めた。
チェルシー
スタンフォード・ブリッジでのメディカルチェックを経て、2007年6月に自由移籍でチェルシーと4年契約を締結。移籍決定時には、ユダヤ・テレグラフ（Jewish Telegraph）に世界有数のビッグクラブでのプレイ、そしてジョゼ・モウリーニョ監督の下でUEFA チャンピオンズリーグに出場出来る喜びを語った。マンチェスター・ユナイテッドFCとのFAコミュニティ・シールドで公式戦初出場を飾り、その後同僚でCBを務めるジョン・テリーとリカルド・カルヴァーリョの負傷により定期的に出場していた。しかし、両名が負傷から復帰し、さらにアレックスが加入したことで4番手となりベンチ入りもままならなくなった。
2008年4月のウィガン・アスレティックFC戦（1-1）後にベン・ハイムは、モウリーニョの中では自身が守備陣の1番手だったと出場機会の少ない現状に対して不満を述べ、また、アブラム・グラント監督の手腕に疑問を呈した。それに対しグラント監督は、モウリーニョがテリー, カルバーリョ, アレックスより出場機会を約束したとは思わないと見解を示した。論争を起こしたベン・ハイムには、2週間分の賃金と同等の8万ポンドの罰金が科せられ、チェルシーでの出番はリーグ戦で僅か13試合に終わった。
マンチェスター・シティ
2008年7月30日にマンチェスター・シティFCと4年契約を締結、マーク・ヒューズ新監督が2番目に補強した選手となった。移籍金は非公開だが、ジョー獲得に費やした約3分の1の500万ポンド程度とみられている。チェルシー時代はジョン・テリーが背負っていたため着用することはなかったが、シティではマシュー・ミルズ（en）が移籍したことにより空位となり、クラブレベルで常に選択していた背番号26に決定。契約締結後にベストを尽くしてプレイしていきたいと意気込みを語った。
7月31日にバーンズリーFCのホームスタジアムであるオークウェル・スタジアム（en）で行われたEBストレイムルとのUEFAカップ 2008-09予選第2戦（2-0勝利）で公式戦、8月17日のアストン・ヴィラFC戦（4-2敗北）でリーグ初出場を飾った。エディハド・スタジアムでの生活はベンチからの途中出場が主と地位を確立することが出来ず、また、期限付き移籍を経て復帰後も余剰戦力の立場はかわなかったため、移籍リストに名を連ねることとなった。
サンダーランド (ローン)
2009年2月1日に2008-09シーズン終了までの期限付き移籍でサンダーランドAFCと契約。2月21日にアウェイのアーセナルFC戦で初出場、3月7日のトッテナム・ホットスパーFC戦でホームでの初出場を飾った。ベン・ハイムはここでも出場機会を得るのに苦労し、リーグ戦出場が僅か5試合にとどまり、同シーズン終了後にマンチェスター・シティへと復帰した。
ポーツマス
2009年8月31日にポーツマスFCと4年契約を締結。9月12日の古巣ボルトン戦（2-3敗北）でリーグ初出場を飾って以降、ポール・ハート（en）監督とチェルシーで指導を受けたグラント監督の下でセンターバックの1番手となったが、シーズン後半に負傷したことで古巣チェルシーとのFAカップ決勝戦（0-1敗北）はベンチ入りしたものの、出番は訪れなかった。2010年5月に2部降格決定すると、降格に伴い解除条項が契約に盛り込まれていたため、クラブを去ることとなり、その際にシーズン中にクラブが破産申請を行ったことでサッカーのみに集中出来なくなったとクラブの元オーナーを批判した。しかし、その後ベン・ハイムは解除条項を行使することを拒否したため、クラブの管財人であるアンドリュー・アンドロニク（Andrew Andronikou）はクラブ内で一番の高給取りを留めておけないため、獲得に動いているウェストハム・ユナイテッドFCとギリシャ1部の2クラブと交渉を開始した。
ウェストハム・ユナイテッド (ローン)
2010年7月、以前ポーツマスで指導を受けたグラント監督率いるウェストハム・ユナイテッドに自由移籍で契約寸前までいったものの、週給3万8000万ポンドを要求したこと、とメディカルチェックに失敗したため交渉決裂に終わったかに思われたが、8月3日に5ヶ月の期限付き移籍で同クラブと契約を締結。ベン・ハイムはメディカルチェック通過後に、以前メディカルチェックに失敗したとのレポートを発表した記者に対し法的措置を検討していると発言した。
8月24日にフットボールリーグカップのオックスフォード・ユナイテッドFC戦（1-0）で公式戦初出場、9月11日の古巣チェルシー戦（1-3敗北）でリーグ戦初出場を飾る。2011年1月1日のウルヴァーハンプトン・ワンダラーズFC戦（2-0勝利）でフレディ・シアーズの得点をアシスト。それから4日後の1月5日に出場したニューカッスル・ユナイテッドFC戦（0-5敗北）が最後の試合となった。期限付き移籍が終了後にウェストハムとポールマスは契約に関し協議を続けていたが、金銭問題からクラブ間合意に達せず交渉終了となった。
ちなみに、アウェイのストーク・シティFC戦では、試合日がユダヤ教の贖罪日にあたるヨム・キプルと重複した事を理由にグラント監督と共に欠場した。
ポーツマス復帰
2011年1月、期限付き移籍終了に伴いポーツマスに復帰し、練習に参加するも出番訪れなかった。これは、ベン・ハイムがクラブと140万ポンドの賃金未払いに関して争っていたことから、スティーヴ・コッテリル（en）監督は起用できずにいた。同案件は2011年7月にフットボールリーグのヒアリングにかけられる予定となっていたが、新たにクラブのオーナー（コンバース・スポーツ・イニシアチブ:CSI）が現れたことにより解決となった。
7月11日にハヴァント・アンド・ウォータールーヴィルFCとのシーズン前の親善試合（4-0勝利）で復帰後初出場、8月6日のミドルズブラFC戦（2-2）でリーグ戦初出場を飾った。8月27日のカーディフ・シティFC戦でヌワンコ・カヌの得点をアシストし、翌週に行われた前所属のウェストハム戦（3-4敗北）でグレッグ・ハルフォード（en）の3得点目をアシストしている。2011-12シーズン後半にクラブが破産申請したことでリーグの規定により勝ち点10の減点処分となり、2年で2度目となる財産管理下に置かれることになり、その影響から同シーズン終了後にクラブの3部降格が決定。その後、ベン・ハイムの代理人ピニ・ザハヴィ（Pini Zahavi）は、約200万ポンドに相当する契約が残り1年あるにもかかわらず3部の舞台でプレイしないと述べたが、一方で同氏は、ベン・ハイムの将来は不確定なものとしている。すると、管財人であるトレヴァー・バーチ（Trevor Birch）から、それまでのサラリーキャップが週給5000ポンドだったにもかかわらず、ベン・ハイムが週給3万6000ポンドの4年契約を締結してから程なくしてクラブが最初の会社清算に入ったと批判され、さらにサポーターグループからその賃金を放棄する内容の手紙が届いた。しかし、ベン・ハイムは受け取ることを拒否し、代わりに同等の賃金を得ている管財人が賃金カットすべきと反論している。2012年8月にポーツマスを退団することで合意に達した。
クイーンズ・パーク・レンジャーズ
2013年1月4日にクイーンズ・パーク・レンジャーズFCと短期契約を締結し、背番号は21が割り当てられた。翌日にFAカップのウェスト・ブロムウィッチ・アルビオンFC戦で初出場を飾り、後半にキーロン・ダイアーの同点弾をアシストした。5月9日に期限付き移籍でアメリカのトロントFCとの契約締結が発表されたが、それから4日後にトロントFCのGMであるケヴィン・ペイン（Kevin Payne）は、正式に署名してしないことを明かした。
6月30日、2012-13シーズン終了に伴いQPRから放出が発表された。しかし、その後もクラブに留まりトレーニングと親善試合に参加している。
代表
2002年2月13日のドイツとの親善試合（アウェイ1-7敗北）でイスラエル代表として初出場を飾り、2011年3月29日にUEFA EURO 2012予選のジョージア戦で初得点を記録。