秋田大助
その後1972年から4年間、衆議院副議長を務めるが、1976年(昭和51年)の第34回総選挙では後藤田正晴が同じ徳島県全県区から出馬したこともあり、落選を喫した。
また、1959年(昭和34年)には自由民主党同和対策特別委員会の委員長代理に就任していた。
1960年(昭和35年)第34回国会へ自由民主党、日本社会党、民主社会党の3党共同で「同和対策審議会設置法案」を提出した。また同和対策事業特別措置法(1969年)の制定に尽力し、その後の延長についても精力的に取り組むなど、自民党における同和問題の第一人者としても知られた。
1972年(昭和47年)の自民党総裁選挙では選挙管理委員長を務め田中角栄の当選を知らせた。
またプロレス界とも関わりがあり、1976年(昭和51年)に開催された『格闘技世界一決定戦』アントニオ猪木対モハメド・アリ戦のウィットネス(立会人)を務めている。
衆議院議長の声もあったが1983年(昭和58年)の第37回総選挙で落選し、1986年(昭和61年)に政界を引退。通算当選回数12回。
1988年(昭和63年)11月29日死去、78歳。死没日をもって正三位に叙され、銀杯一組を賜った。