西郷吉之助
この頃より手形を乱発して債務は当時で4億円近くまで膨らみ債権者が騒ぎ出したため、西郷はその頃えせ同和行為で羽振りの良かった尾崎清光と繋がり、私設秘書や在日朝鮮人、暴力団などを使って議員会館内で債権者に暴力や恐喝を行う事件を起こし、その問題は国会でも追及され、西郷は自由民主党を離党している。
1971年の選挙では手形乱発事件の影響で無所属で出馬し落選、1974年の選挙も自由民主党から出馬したが落選し引退。
1986年春の叙勲で勲一等旭日大綬章受章(勲四等からの昇叙)。
1997年10月12日、心不全のため東京都大田区の自宅で死去、91歳。死没日をもって従三位から正三位に叙される。
後にも西郷の秘書たちが、立場を利用して入港する船舶検査に手心を加えるよう各所に電話する日々であった、などと月刊誌『正論』にて証言したり、逮捕収監されていた暴力団員の刑の停止に力を貸していた、などの不義行為が曝露されている。