1982年、マサチューセッツ州副知事に就任した。その後1982年にケリー副知事はギフォードの株を買い取り、スタンリーおよびリンダ・クラインにそれらを売った。数年後にはクラインに自分の持ち株を譲り、店は現在「マギーズ・スイーツ」として存在する。フリートセンターの民主党大会中に「ジョン・ケリー・チョコレートチップ・クッキー」のギフトバッグ千個を供給した。
1978年、ケリーはドロニーの健康状態が芳しくなかったことから長官選挙に立候補したが、当選したのは前任のドロニーであった。また、ドロニーの健康状態は改善し、ケリーに引き継いでいた業務を再度担当することになった。こうしてケリーは検察庁を辞任し、1979年には検事補(DA)のロアンヌ・スラゴーと共に法律事務所を開業した。その他、テレビ局WCVB-TVのコメンテーターを務めたり、元ケネディ家のK・ダン・ギフォードと共同で「キルバート&フォーブズ」という名のマフィン店をボストンのクィンシー市場に開いている。
ケリーは最初の娘アレクサンドラの誕生とほぼ同じ頃、1973年9月にニュートンのボストンカレッジの法科大学院、ボストンカレッジ・ロー・スクールに入学した。その傍ら、ラジオ局WBZのパーソナリティとしても働き、また、1974年にはあるマサチューセッツ州の協会で集団訴訟を指揮したりした。ロースクールで学んでいたあいだは、ジョン J. ドロニー長官のミドルセックスの州検察庁で修習を受けており、1976年に法学博士となり 、同年5月に卒業した。同じ年に2番めの娘ヴァネッサが生まれており、司法試験に合格してマサチューセッツ州法律家協会への入会が認められた後は、州検察官となった。1977年には筋萎縮性側索硬化症を患っていたドロニーにより州検察庁第1補佐官に抜擢され、公判を指揮して著名な強姦事件や殺人事件でも有罪を勝ち取った。また庁の管理職としては、知能犯罪や組織犯罪の専門部署や、被害者と証言者のための制度を創設し、公判スケジュールの調整役なども務めた。1978年に州知事エドワード・ブルックの離婚裁判での申告漏れについて、違法性が疑わしいとして調査を行うことも発表したのもケリーである（ただし同事件は不起訴となった）。
1972年2月、ケリーはローウェルのヴェルヴェデーレに妻とともに家を購入し、9月には民主党の予備選挙に勝利してアメリカ合衆国下院議員選挙に出馬したが、当選したのは共和党候補のポール・クローニンであった。その後は国際ケア機構の基金調達係として働いたが、ケリーの兄弟であるキャメロンは、後にこれを「追放の時代」と表現している 。
1971年11月12日から15日までVVAWミーティングがミズーリ州カンザスシティーで開催された。そこで、ベトナム戦争を継続する政府要人を暗殺し、クーデターでベトナム和平をめざすという提案がなされた。ケリーのスポークスマン、マイケル・ミーハンは「ケリー上院議員は、カンザスシティー会議に出席したのを覚えていません」と、『ボストン・グローブ』誌の質問について回答した。ケリーはミーティングが開催された11月の4か月前、7月には同団体の活動から離れていたため、同会議には出席していないと言われてきた。しかしFBIの記録によれば、ケリーは同会議の議長を務めたとあり、会議での対立に敗れ、直後にケリーは辞任したとなっている。政府要人暗殺の提案は反戦活動家スコット・カミルによってなされた。カミルへの電話インタビューでケリーは「会議でケリーを見かけた記憶がない」と語った。会議で要人暗殺を話し合ったことについて当局は訴追をしなかったが、提案者のカミルは1972年8月のマイアミでの共和党全国大会襲撃計画を立案したとして仲間の反戦帰還兵7人とともに逮捕され、裁判にかけられた。
反戦ベトナム帰還兵会（Vietnam Veterans Against the War, VVAW）のメンバーおよびスポークスマンとして、ケリーは上院軍事委員会の公聴会で証言した。ケリーは、1971年1月31日から2月2日までミシガン州デトロイトで行われたVVAWの冬期間兵員調査、通称「ウィンター・ソルジャー集会」に関して証言した。
1962年にイェール大学に入学する。専攻は政治学で、1966年に卒業した。ケリーは2年生の時にイェール政治ユニオンの会長になった。そこでケリーは公民権運動やニューフロンティア・プログラムなどについて論じた。歴史学の教授ローリン・オスターワイスの指導の下、全国学生討論コンテストで優勝した。ケリーは友人ジョン・シャタックに誘われ、1965年4月にスカル・アンド・ボーンズに参加した。
2007年7月、米連邦検事メアリー・ベス・ブキャナンは、ウェルズ爆死事件の捜査が終了したと発表し、首謀者のディール＝アームストロングと共犯者のバーンズが起訴される見込みであると述べた。すでに死亡しているロススタインとウェルズも未起訴の共謀者として名前を挙げられた。ブキャナンは、ウェルズが当初から計画に関与しており、爆弾は偽物だと信じていて、渡された指示書は捕まった際に無実の被害者を装うため用意されたものであったと述べた。一方で、ウェルズは他の共犯者からの裏切りに遭い、本物の爆弾を首に巻かれ、それは取り外された時点で起爆するようになっていたと説明された。バーンズによれば、ウェルズが爆弾が本物であることに気づいた際、彼を脅して従わせるためピストルが発砲されたという。この銃声を耳にしたという証言者は複数人存在している。ロススタインの友人であり、事件当時に彼の家に同居していたフロイド・ストックトン（Floyd Stockton）は、犯行計画について知っていたものと考えられたが、ロススタインに対する証言を行うことを条件に訴追免除された。しかし病気のため、実際にストックトンが法廷に召喚されることはなかった。2008年7月29日、合衆国地方裁判所判事ショーン・J・マクラフリンは、ディール＝アームストロングは複数の精神疾患のため裁判に必要な責任能力を持っていないとの判断を下し、責任能力については彼女が精神病院で一定期間の治療を受けたのちに再検討するとした。この決定を受け、ディール＝アームストロングはテキサス州にある連邦刑務所の精神治療施設に移送された。