彼は1960年から62年の2年間を米軍で過ごした。最初の任地、ベニング基地にて軍のタレントショーのコンテストに参加し、一位の座を勝ち取った。そしてベルボイア基地で兵士慰問の世界ツアーのメンバーに選ばれた。パリにいたとき彼はケニー・ドリューとケニー・クラークと知り合った。そして徴兵を終えるためメリーランドに送られた。1962年に退役し、すぐにニューヨークに移動した。彼は初めにサクソフォーン奏者のジュニア・クックの処で、彼に取ってかけがえの無い指導者であるトランペッターのケニー・ドーハムと出会った。ある晩、彼らはバードランドで演奏していたデクスター・ゴードンに会いに行った。ヘンダーソンはゴードンからリズムセッションに加わって一緒に演奏しないかと尋ねられた。言うまでもなく、彼は喜んで承諾した。ヘンダーソンの初期のレコーディングはハードバップの強い影響を受けていたが、彼の演奏はビバップだけでなくリズム＆ブルースやラテンアメリカミュージック、そしてアバンギャルドの様式も持ち合わせていた。間もなく彼はホレス・シルバーのバンドに参加し、ヒット作の「Song for My Father」で画期的なソロ演奏を提供した。1966年にシルバーのバンドを去った後、ヘンダーソンはフリーランスに戻り、ケニー・ドーハムと一緒にビッグバンドを率いた。彼のビッグバンド向けの編曲は1996年の「Joe Henderson Big Band」のリリースまで録音されなかった。
ヘンダーソンはオハイオ州のリオにて、5人姉妹と9人兄弟の大家族の下に生まれた。音楽は彼の両親と兄のジェームズ.T.から奨められた。（彼はファーストアルバムの「for being so understanding and tolerant」を彼らに捧げている。）最初の頃はドラム、ピアノ、サクソフォーン、作曲などに興味を持っていた。ケニー・ドーハムによると、ヘンダーソンの兄弟が通う学校の2人のピアノ教師、リチャード・パターソンとドン・ハーレスが彼にピアノを教えた。彼は兄弟のレコードコレクションにひどく夢中になった。これは地元のドラマー、ジョン・ジャレットがヘンダーソンにレスター・ヤング、スタン・ゲッツ、デクスター・ゴードン、チャーリー・パーカーの音楽を聴くようにアドバイスしたのに影響を受けたらしい。彼はフリップ・フィリップスやリー・コニッツ、ジャズ・アット・フィルハーモニックの録音も好んだ。中でもパーカーから最も強いインスピレーションを受けた。彼は、ハイスクールのハーバート・マーフィの指導でサクソフォーンを始めた。この時期に彼はスクールバンドやロックグループのためにいくつかの楽曲を書いている。18歳のとき、ヘンダーソンは50年代のデトロイトジャズシーンで活動し、ニューヨークから訪れたスタープレーヤーとジャムセッションで演奏した。ウェイン州立大学のフルートとベースの授業を受けながら、テール音楽学校で名声のあった教師ラリー・ティールの指導のもとでサクソフォーンと作曲のスキルをさらに伸ばした。1959年暮れに自身初めてのグループを作った。ウェイン州立大学在籍時、多くのレスター・ヤングのソロを真似て暗記し、彼の担当教授に完璧にものにしたと信じさせた。クラスメートのユセフ・ラティーフ、バリー・ハリス、ドナルド・バードは疑いなく特別なインスピレーションを与えた。彼はケンタッキー州立大学でも音楽を勉強した。
ジェミニ9号の目的は、軌道上においてドッキングを成功させることにあった。しかし、ドッキング対象となるはずだったアジェナ標的機(GATV-5004)は、1966年5月17日にケープカナベラル空軍基地LC-14発射台よりアトラス・ロケットを用いて打ち上げられたものの、軌道投入に失敗し、ジェミニ9号の打ち上げも中止された。GATV-5004の代わりに、ATDA #02186を打ち上げ、ドッキング試験を行うことになり、ミッション名もジェミニ9-A号に変更された。ATDAは、アジェナ標的機のうち、ドッキングポートを中心とした部分であり、ロケットエンジンや燃料タンクは省略された。ATDAは、1966年6月1日に打ち上げられた。ジェミニ9-A号も6月1日に打ち上げられる予定であったが、発射3分前に機器の不調により打上げ中止となった。結局、1966年6月3日にケープカナベラル空軍基地LC-19発射台より打ち上げられた。打ち上げ49分後から、ATDA接近のための軌道修正を開始し、3時間20分後に93kmの地点にまで接近した。ATDAは、軌道投入されたものの、モニタリング信号によれば、シュラウド（ペイロードフェアリング）が開ききっていないことが示されていた。ジェミニ9-A号が接近し目視した結果、モニタリング信号通り、シュラウドが開ききっていないことが確認され、ドッキングは不可能の状態であった。ATDAのシュラウドは、半分 口をあけた状態にあり、その様子は「怒ったワニ(angry alligator)」と形容された。船外活動により、シュラウドを開放することも検討されたが、爆発ボルトが危険なこともあり、その作業は行なわれなかった。ドッキング試験は中止し、ランデブー試験のみが行われた。飛行3日目に、船外活動試験を実施することとなった。ユージン・サーナンが船外に出て、推進/機械部に搭載された宇宙飛行士機動ユニット(Astronaut Maneuvering Unit,AMU)を装着し、船外活動を行うというものであった。しかし、無重力下の宇宙空間での移動は困難を極めた。宇宙服は動きづらかったのみならず、汗による湯気でバイザーが曇り、視界が確保されなかった。このため、AMUのところまで移動するのに1時間を費やした。飛行士の疲労や視界不良のため、AMUによる船外活動は中止となり、ユージン・サーナンは再び1時間をかけて船内に戻った。なお、このAMUは空軍システム軍団が開発したものであった。周回45週目に逆噴射を行い、大気圏再突入を開始した。再突入動作は非常に順調であり、フロリダ半島沖の大西洋に展開していた航空母艦ワスプから700mの地点に着水した。アメリカ国防総省もジェミニ9-A号の支援についており、人員11,301名と航空機92機、艦艇15隻が投入された。ジェミニ9-A号は、フロリダ州ケープカナベラルにあるケネディ宇宙センターにて保管展示されている。