进入政界，由立宪政友会首次当选国会众议员。1936年成为广田内阁农林政务次官。1946年成为第38代众议院议长，是旧宪法下最后一任议长。1948年担任民主自由党干事长期间，发生山崎首班工作事件，盟军驻日总司令部（GHQ）民政局策划不让民主自由党总裁吉田茂出任内阁总理大臣，而让山崎顶替。山崎意识到自己可能被阴谋利用作为分裂党的工具，决定辞去众议院议员职务，直接失去成为首相的资格。1949年总选举重新成为众议院议员。之后再第三次吉田内阁先后出任运输大臣、经济审议厅长官。