総選挙における惨敗と組合同盟会長辞職ののち、棚橋は中央から徐々に後退し、また交友上においても麻生・山名・岸井・上条・阪本などとの関係が気まずい関係になっていった。