Yamazaki est associé avec l'aile politique conservatrice du parti après qu'il est devenu le parti libéral-démocrate et est l'un des chefs de la faction menée par Mitsujiro Ishii. Il est président du comité de budget en 1957. En 1960, il est nommé au cabinet du Premier ministre Hayato Ikeda comme ministre des Affaires intérieures. Yamazaki sert également comme . Il est forcé de démissionner après l'assassinat d'Inejirō Asanuma, président du parti socialiste japonais durant un discours télévisé.