1952年（昭和27年）追放が解除されると、第25回総選挙に戦前政友会の代議士だった達之輔の地盤を引き継いで自由党公認で立候補し当選した。保守合同後は自由民主党緒方派→石井派に所属。1960年（昭和35年）に池田勇人が自由民主党総裁選挙で当選すると、池田は山崎を幹事長に起用しようとするが、総裁派閥宏池会の大橋武夫が派内の益谷秀次を就けることを強硬に主張したことから、第1次池田内閣の自治大臣兼国家公安委員会委員長となる。しかし同年10月におきた浅沼稲次郎暗殺事件で、国家公安委員長として責任を取らされ辞任した。