私生活での岡部は家庭を大切にし、騎手としての全盛期にも「世界で一番家族が大切」「仕事と家庭、どちらかを捨てなければならない状況に直面した（ならば）躊躇なくボクは馬をやめる決断をする」と公言していた。岡部は競馬社会の血縁関係のしがらみに拘束されることを嫌い、競馬とは関係のない女性と結婚した。騎手時代の岡部は、子供の学校行事に一度も出席できなかったり、妻の出産に一度も立ち会えないなど、家族との交流が制限されていた。そのため騎手引退後は父親と旅に出たり子供の学校行事に参加するなど、家族との交流に努めている。また、「好きなこと」「現役時代にできなかったこと」に挑戦し、新たな趣味としてスキューバダイビングやサーフィンなどを始めた。
引退後は2006年10月から、「JRAアドバイザー」として裁決委員や審判業務を行う決勝審判委員などに対しての意見や助言、若手騎手に対する技術指導を行うアドバイザーを務める傍ら、フリーランスの競馬評論家的活動を行っている。騎手の中には引退後に調教師となる者も多数いるが、岡部は人間関係が重んじられる調教師は「自分の肌に合う職業ではない」として転身しなかった。2007年4月22日に開催した元騎手によるエキシビジョンレース、「第1回ジョッキーマスターズ」に出場（結果は9頭中5着）。翌2008年11月9日に行われた「第2回ジョッキーマスターズ」にも出場した（結果は8頭中3着）。2009年6月20日付で日本中央競馬会裁定委員会委員に就任することになった。2013年には筑波大学の非常勤講師に就任。同年5月27日に初めての講義を同大学で行った。
2005年に入り岡部は自身の騎乗に違和感を覚えるようになった。2月19日にイメージ通りの競馬ができなくなっていることを自覚し、翌2月20日になっても改善が見られなかったため、同日のレースを最後に騎乗を自粛した。同年3月10日に38年間におよぶ騎手生活からの引退を発表し、騎手免許を返上した。引退当時岡部は中央競馬における騎手の最多勝記録を更新し続けており、史上初の通算3000勝を目前にしていたが、岡部自身は記録がかかっていることで迷いは生じなかったと述べている。岡部は自らの騎手人生について、「今、与えられたこと、やれることを、やっていくしかない」と思って行った「自然体の努力」の結果であると振り返った。これに伴って、2005年3月20日には中山競馬場で引退セレモニーが行われ、同日の第10競走に予定されていた「東風ステークス」は最終12競走に変更の上、レース名も「岡部幸雄騎手引退記念競走」と変更されて施行された。セレモニーでは後輩騎手である横山典弘らの提案で岡部を神輿に乗せ、騎手一同で担いでパドックを周回した。
晩年の岡部は左膝の痛みに悩まされ続け、痛み止めの注射を打ちながら騎乗を続けていた2002年には左足を引きずって歩くほどに症状が悪化し、12月の有馬記念での騎乗を最後に休養に入り、左膝の半月板を手術した。1年近くにわたるリハビリを経て2004年1月25日の中山競馬で復帰。復帰初日には丸刈り姿でレースに臨み、同日第9競走の若竹賞で、後に桜花賞を勝つダンスインザムードに騎乗し1着となった。
キャリア晩年はトレーニングによって「20代後半のスポーツ選手と変わらない」といわれる肉体を維持しつつ、「一回一回競馬を楽しもう、一回一回悔いを残さず」という思いで騎乗を続け、中央競馬史上最年長の騎手として活躍した。2002年には第126回天皇賞（秋）を53歳11か月28日で優勝。これはGI競走およびGI級競走の中央競馬史上最高年齢での優勝記録である。
1988年6月25日、岡部は福島競馬場でのレース中に落馬事故に見舞われ、左腕の握力が3キロに低下する重傷を負った。岡部は自分の未来は自分の意思で決めるという信念を持ち、競馬関係者が重んじることの多いジンクスや運といった概念を好まず、特定の宗教を信じることのない人間であったが、事故後3週間が過ぎても回復の兆しが見えない中で騎手生命の終わりを意識し、神社に参拝して回復を祈るほどの精神状態に追い込まれた。懸命のリハビリの結果、事故から3か月後には騎手への復帰が可能な程度にまで回復した。この落馬事故について岡部は騎手生活最大の事故で「最大級の試練」であったと回顧している。なお自身は同年初春にも落馬事故に遭っている。
常陸国守護を務めた八田氏の一族で八田知家の三男・知基が下野国芳賀郡茂木郷（茂木保、現在の栃木県茂木町）の地頭職を継承して「茂木」を号したことに由来する。後に茂木城を築城して本拠とした。承久の乱の軍功によって紀伊国賀太荘の地頭職を与えられたが、宝治合戦では三浦氏に加担した疑いをかけられ、茂木荘の一部に北条得宗家の進出を許した。南北朝時代には北朝方について、南朝方の攻撃や同じ北朝方の小山氏などの押領などに悩まされたが、小山氏の乱で鎌倉公方方、永享の乱・結城合戦で室町幕府について国人領主としての地位を安定させた。戦国時代には宇都宮氏・那須氏・佐竹氏などの間で揺れ動いたが、最終的には佐竹氏に従う。文禄の役中に行われた佐竹氏家臣の配置換えで常陸国茨城郡の小川城（現在の茨城県小美玉市）に移され、関ヶ原の戦い後の佐竹氏の秋田藩移封に従った。以後、同藩の重臣として明治維新まで存続している。茂木氏に関しては戦後、同氏の嫡流が断絶した際に旧臣の吉成氏が引き継いだとされる『茂木文書』と呼ばれる古文書群が伝えられている。ただし、吉成氏は秋田藩時代同じ佐竹氏家臣として茂木氏の指揮下に入ったことはあるものの、主従関係にあったとする記録は存在せず、また戦後に文書の授受を行った事実は無いとする吉成氏側の証言もあることから、明治以後の士族困窮の中で茂木氏から吉成氏に譲渡されたとする見方が有力になっている。