静岡に本社を置く病院・社会福祉施設向けリネンサプライ、介護用具レンタル・販売会社「ヤマシタコーポレーション」の創業家一族であり、山下自身、取締役に名を連ねている。大洋に入団して寮に入るときに兄が自分の車で山下を寮まで送った。だが、それが高級外車であったために、寮にいた関係者はあぜんとしたという。「株式会社ヤマシタ」の社長であった父親は、山下が早く野球界から足を洗って後継者である兄を助けて会社を盛り立ててくれることを2002年に亡くなるまで望んでいた。だが、父の死から半年後に古巣・横浜からの監督就任要請があると、山下はこれを引き受けたため父親との約束を果たすことができなかった。兄は2013年に亡くなり、株式会社ヤマシタは兄の長男が後を継いでいる（その際、山下本人も取締役に就任している）。2007年に東北楽天ゴールデンイーグルスが静岡の静岡県草薙総合運動場硬式野球場でオープン戦を行った際には株式会社ヤマシタがメインスポンサーを務めている。妻と、子供3人（長男・長女・二男）がいる。1981年に渋谷区東の自宅（斜め向かいは五月みどり邸）の庭を拡張するため1坪40万円で土地を買ったが、4年後に1坪800万円に高騰したという。
清水東高校から、一般入試で慶應義塾大学商学部に進学。1年生からレギュラー遊撃手となり、高校の2年先輩である松下勝実（松下電器）とクリーンアップを組み活躍する。東京六大学野球リーグでは、1年上の萩野友康（新日鐵八幡）、長谷部優（松下電器）の両左腕エースを擁し、1971年秋季リーグからの3連覇に三番打者として貢献。1972年の全日本大学野球選手権大会では、決勝で関大の山口高志に完封され準優勝にとどまる。同年から2年連続で日米大学野球選手権大会日本代表に選出される。4年時には主将を務め「慶應のプリンス」と呼ばれた。リーグ通算88試合に出場し、314打数102安打、11本塁打、50打点、打率.325、首位打者1回（1973年春季リーグ）、ベストナイン4回。
潜水艦に航空機を搭載する研究のため、横須賀海軍工廠（横廠）で1925年（大正14年）から開発を始め、1927年（昭和2年）5月に1機が完成した。実験は同年から翌1928年（昭和3年）にかけて伊号第二十一潜水艦に格納装置を臨時に設置して行われたが、実用化には至らず、次作となる横廠式二号水上偵察機の開発が開始された。機体は木金混合骨組みに軽金属および羽布張りの双フロートを持つ複座の複葉機で、設計は1923年（大正12年）に2機がドイツから輸入されたU-1潜水艦搭載偵察機のものを原型としている。簡単に分解することができ、分解した機体は全長7.4 m、直径1.7 mの円筒に納めることが可能。組み立ては作業員5名が従事した場合、約4分で完了する。分解に要する時間は2分。なお、横廠式一号水偵は当時の日本でもっとも小型の航空機だった。
横廠式一号水上偵察機（よこしょうしきいちごうすいじょうていさつき）は、大日本帝国海軍が試作した潜水艦搭載偵察機。仮称潜水艦用水上偵察機とも呼ばれる。
仙台二高では3年で全国大会に出場し4位となる。一浪の末、東京大学に進学。籠球部で主将を務め、卒業後は東京大学大学院へ進み籠球部コーチとなる。修士課程修了後、東京大学大学院教育学研究科へ進学。アメリカ合衆国のペンシルベニア大学にコーチ留学。帰国後の1997年、東京海上ヘッドコーチに就任。日本リーグ2部で2位の成績を収める。2001年退社。その後は大学の先輩との会社共同経営をしつつ、千葉バジャーズのヘッドコーチを務める。1年目は選手も兼任。2004年に仙台スポーツリンクを設立。bjリーグに参加した後、Bリーグ発足後は同理事も務める。
チェルノブイリ原発事故の処理にあたった作業員（リクビダートル）や現地住民に、癌以外に免疫機能の低下、貧血、非常に疲れやすい、胎児の発育不全、先天性異常など様々の症状が現れている。これらのうち、免疫機能の低下とそれによる症状や病気は、後天性免疫不全症候群になぞらえて「チェルノブイリ・エイズ」とよばれている。原因は未解明であるが、内部被曝が関係するとの見方がある。ウクライナの生化学者セルゲイ・コミサレンコ（1943年- ,uk:Комісаренко Сергій Васильович）は、1978-1985年にウクライナ免疫科学プログラムの責任者を務め、続いて1986-1988年に同研究を指導した。ここで、事故による放射性降下物からの低線量放射線のために、ヒトのナチュラルキラー細胞の数と活性が劇的に低下することを見出し、この免疫抑制現象を"チェルノブイリ・エイズ"と名づけた。事故後にベラルーシで診療にあたった医師の菅谷昭（現松本市長）は以下のように述べている。子どもたちに、免疫機能が落ち抵抗力が下がって、感染症にかかりやすく、風邪は長引きぶり返し、異常に疲れやすい、貧血状態、などの症状が出ており、学校の授業なども短縮しなければならないほどである。被曝した女の子たちが出産する時期を迎えているが、産婦人科医の話では、胎児の発育も悪く、早産、未熟児、先天性異常などが増えている。出産前に異常が見つかれば、統計上発生率を減らすため、半強制的に人工妊娠中絶が行われている。