元禄年間から、江戸幕府滅亡までの期間に、加判職に1度以上就任し（抜擢人事を含む）、かつ1代を越えて実質家禄100石を、確実に越えた履歴を持つ家臣でありながら、大きく失脚、または改易・取り潰しとなった家を掲げる。ただし、一度失脚した有力家臣の家系であっても、江戸幕府滅亡までに、失脚直前に持っていた連綿する家の格式相当の役職以上に、1度以上就任した履歴がある家系は、再浮上したと考えて、記述の対象外とした。「元禄から、幕府滅亡・大政奉還までの期間に、失脚した加判職就任履歴のある家系」の定義に該当しても、この項目に記述がない稲垣源太左衛門家（藩主の勘気・内存）は、四天王家の稲垣氏の解説を、佐々木氏（職務怠慢ほか）・河合氏（公私にわたる怠慢・怠惰）は、有力な新興家臣の解説を、牧野氏（求馬家）（弱者を被害者とする戦慄な非行・不行跡ほか）は、藩主一門の家臣の解説を、おのおの参照のこと。小川氏・野口氏の2家は、元禄年間より前に、改易・取り潰し、または失脚したもので、有力家臣であっても定義外になる。与板在封期の有力家臣であった甲谷氏と平井氏は、小諸に随従した形跡がなく仔細不明である。平井姓の屋敷持ち足軽たる小諸家臣は存在しているが、その本末関係・続柄は不詳。また与板在封期の有力家臣である小川氏・甲谷氏・平井氏は、番頭クラス以上の家臣であったことは、ほぼ疑いないが加判職に就任していたか否かは不詳である。牧野氏（求馬家）は、上記に定義した「失脚」に含まれてしまうが、江戸幕府滅亡後、小諸騒動渦中に役職上、大きく班を進めている。牧野氏（求馬家）は、騒動を背景とした抜擢から、10か月後に、失脚・入牢となり目まぐるしい。ここでは、惣領家を基準として記述しているので、惣領家が失脚している一方で、分家・別家が班を進めたり、異動が大きくない場合であっても、同姓一門として整理の都合上、一括して解説している。
家老在職のまま勇退となった当主は、1代限りであったが、河合氏は、家老連綿・家老の格式を持つ家柄であった履歴がある。この点、家老の格式を持たないで家老職となり、家老の格式を持つことなく致仕（引退）となった村井氏などとは、異なるので注意を要する。主要家臣の持高を参照のこと。この家系は、宇右衛門を通称名として、使用することが多い。
2018年3月1日、高橋が市の女性職員にセクハラ行為をした疑いがあることが明らかにされた。西村あつ子市議が市条例で情報公開請求した市の内部資料には、2014年4月の歓送迎会で「口をつけたコップで何度も飲むことを強要された」との相談が女性側から市職員課にあったことが記されていた。さらにその後作成された資料では、複数の職員から「夜に誘われることが多くて困っている」「宴席で肩や胸も触られて困っている」といった相談が寄せられたとの記述があった。資料では加害者とされる人物の役職が黒塗りされており、同日の狛江市議会で西村市議が「市長ではないか」と質問したところ、高橋は「答弁を控える」と答弁しつつ、「心当たりのあるものは一つもない」と述べた。新聞の取材に対しては、一般論とした上で「自分が口をつけたコップで酒を勧めることはあるが、異性への関心ではなく、一家意識というか家父長的な意識でやっている。強要はしない」と述べた。また、「私は九州男児であって、献杯・返杯は文化だと思っている」と弁解したことが波紋を広げ、市役所へは発言に対する苦情が相次いだ。読売新聞もコラムで疑問を呈した。高橋は否定したものの、問題は収まらず、同年3月12日には女性市議6人が真相解明と再発防止を求める声明文を高橋に手渡した。同年3月28日、記者会見を開き、改めてセクハラ行為の事実を否定した。報道陣から、職員に口をつけたコップで飲むよう強要したことにつき質問されると「相手の反応に気を使っていたので、セクハラ行為には当たらない」との認識を示した。 高橋は職員に内部文書の真偽を調査するよう指示。市は4月17日、セクハラの根拠とされる内部文書について「内容に誤りはない」とする調査結果を公表した。自治労狛江市職員組合は「加害者は市長であるという相談が複数寄せられている」「市長の一連の言動には反省が見られない」と記載した印刷物を配布した。4月22日、お茶の水女子大学名誉教授の戒能民江らが参加した市民集会において高橋の辞職を求める集会アピールが採択され、4月23日には高橋の辞職や被害を受けたとされる女性職員への謝罪などを求める2906人分の署名が市役所に提出された。5月14日、日本共産党狛江市議団は、市が加害者の役職名など一部を黒塗りにして公開したセクハラ相談記録の文書について、市に加害者部分の非公開を取り消すよう求めて東京地方裁判所に提訴した。5月18日、非公開で開かれた臨時会議で、水野穣副市長は「立場を利用して卑劣な行為を行った」と述べ高橋に進退を迫った。石森準一参与も高橋が初当選後の1期目からセクハラを注意してきたと発言し、辞職を求めた。5月21日の記者会見で高橋は、調査対象となった被害者の職員を「思い込みの激しい人」と批判し、「何らかのタイミングで触れたことはあるかもしれないが、意識して触ったことはない」と述べた。5月22日午前に開かれた庁議でも水野を「1月に再任する際、支えると約束したはずだ」となじるなど姿勢に変わりはなかった。しかし同日午後、4人の女性職員が実名で高橋に抗議文を突きつけると態度を一転、ついに辞意を表明した。翌5月23日の記者会見では「今でもセクハラをしたという認識はない」と説明した。6月4日、市議会は高橋の辞職を全会一致で同意した。6月に入ってからの辞職になるため、高橋には6か月分のボーナス約234万円が全額支払われる。また2期目途中までの退職金約718万円も支給される。