大の格闘技好きであり、「私は空手、テコンドー、ムエタイの黒帯レベルに達している」と豪語している。2008年7月12日に身長5フィート9インチ（約175cm）で元NFL選手のバイ・シカヘマとボクシングのセレブリティーマッチで対戦したが、最初のラウンドでノックアウト（KO）負けを喫した。次いで2009年1月24日に元人気子役で俳優のダニー・ボナデュースと対戦したが、3ラウンドまで闘った末、引き分けに終わった。2009年5月26日には44歳にして総合格闘技イベントのDREAMに挑戦。DREAM.9のスーパーハルクトーナメント1回戦でチェ・ホンマンと対戦し、パウンドでKO負けを喫した。
2005年2月13日放送、アメリカCBS放送の人気番組「60ミニッツ」のインタビューの中で、過去に筋肉増強剤のアナボリックステロイドを使用していた事を告白し、MLB選手の多くが使用していると指摘して話題となった。翌14日に出版した暴露本 『禁断の肉体改造』 でもステロイド使用を認めた。その中でMLB選手の85%がステロイドを使用している、もしくは使用した事があると述べた。特にマグワイア、ジェイソン・ジアンビ、パルメイロ、イバン・ロドリゲス、フアン・ゴンザレスらは実名で書かれ、注射を射つ場面をカンセコが目撃したと書かれている。ほとんどの名指しされた選手はステロイド使用を否定した中、ジアンビはバルコ・スキャンダルの法廷で使用を認める供述を行った。また、この本は上記の実名選手を名指ししている内容もさる事ながら、全体的に『薬物使用はフェアでないと知っていながらつい使ってしまった』というような罪の告白では無く、『ステロイドって凄い薬だ! ホームランもガンガン打てるし、アレもでっかくなってモテモテで超ハッピー。副作用も全然無いね。みんなもやりなよ!』という使用を推奨する論調で、不謹慎であるとして批判を多く浴び、結果として本が有名になってしまい、ベストセラーとなった。2005年3月17日から開かれたステロイド疑惑に関する合衆国下院公聴会では、パルメイロが自身の薬物使用を否定した一方で、マグワイアは自身の使用に関する質問に対する返答を拒んだりするなど不審な答弁が目立った。なお、パルメイロは同年8月1日に薬物検査で陽性となり、10日間の出場停止処分を受けた。カンセコ自身はステロイドの副作用を否定しているが、元妻ジェシカ・カンセコの自伝によれば、初めて性的関係を持った際に異常に巨大化した陰茎に反して萎縮した睾丸（ステロイド剤を使用すると精子が死滅し睾丸が萎縮する）を目にした事、子作りの際に精子を復活させるため一年間ステロイドの使用を止めたところ、禁断症状により躁うつ状態に陥っていたとされる。後年日刊ゲンダイのインタビューを受けた際には薬物使用を寧ろ忌避する立場を取り、過去のステロイド使用を過ちとして述懐していた。
体育館の設計は丹下健三の手によるもので、丹下の代表的作品として名高い。第一体育館・第二体育館とも、吊り橋と同様の吊り構造の技術を用いており、第一体育館は2本、第二体育館は1本の主柱から、屋根全体が吊り下げられている。観客を競技に集中させるために考案された、内部に柱を持たない珍しい構造の建物である。また吊り構造の天井を安定させ、台風等の災害時にも問題が生じないように、油圧ダンパー（制震ダンパー）で屋根の振動を抑える構造を採用しているが、油圧ダンパーを制震目的で採用した建物は日本初となった。建設地にはそれまで占領アメリカ軍施設・ワシントンハイツがあり、アメリカ軍との返還交渉の難航などから、工事着工はオリンピック前年の1963年2月と遅れた。その結果、竣工は東京オリンピック開幕のわずか39日前までずれこみ、1964年7月以降は昼夜関係なく24時間体勢で建設が進められ、まさしく突貫工事での建設だった。その評判は、東京オリンピックの時にアメリカ水泳選手団の団長が「将来自分の骨を飛び込み台の根元に埋めてくれ」と申し出たと伝えられるほどで、戦後の日本を代表する名建築として高く評価されている。また、この体育館を設計した功績により、国際オリンピック委員会（IOC）は、東京都、日本オリンピック組織委員会とともに、丹下健三を特別功労者として表彰している。IOCのブランデージ会長は、授賞式において、次のように丹下の建築を賞賛した。「スポーツが建築家を鼓舞し、一方多くの世界記録がこの競技場で生まれた ことでも分かるように、この作品が選手たちの力をかきたてたと言えるのではないだろうか。この競技場は、幸いにも大会に参加できた人びと、また観戦するこ とのできた美を愛する人びとの記憶の中に、はっきりと刻み込まれるであろう」。1999年、『国立屋内総合競技場』として日本の近代建築20選（DOCOMOMO JAPAN選定 日本におけるモダン・ムーブメントの建築）に選定。その後、建築用素材にアスベストが含まれていたことが判り、2006年8月より全面的なアスベスト除去工事を実施した。2006年8月から2007年3月は第二体育館、2007年1月から8か月は第一体育館をそれぞれ閉鎖して工事が行われた。この間の主要イベントは、関東地区の他会場（東京体育館、駒沢オリンピック公園総合運動場体育館、横浜アリーナ、さいたまスーパーアリーナなど）に変更された。2010年 - 2011年にかけて、第一体育館と第二体育館で大屋根の全面塗り替え（1964年の竣工後、初）が実施された。2016年4月20日、日本スポーツ振興センター（JSC）は、2017年 - 2018年度にかけて初めての耐震改修工事を実施、その間は第一・第二体育館と室内水泳場を使用できなくなると明らかにした。工期は22か月を予定し、「（2020五輪前年の）プレ大会には間に合わせたいと思う」としている。この間、主会場としているBリーグ「アルバルク東京」は暫定的にアリーナ立川立飛をメインに使用する。