YKK (政治同盟)
小泉の総理就任直後は党内の支持基盤が磐石ではなく、出身派閥内でも森会長を筆頭に小泉の急進的なやり方に反対・苦言を呈する者が多かった。ここで山崎が幹事長として、小泉首相に欠けていた党内人脈や公明党とのパイプを生かし、全面的に小泉を支え続け孤軍奮闘した。政策面では竹中平蔵・経済財政担当大臣に頼った小泉だが、党務・政局では唯一信頼・相談できる存在が山崎であった。党内から何度も更迭論が出る中、山崎は小泉を献身的に支え続け、小泉も山崎に信頼を置き、二人の盟友関係ぶりが一番際立った時期でもある。
しかし、内閣支持率が徐々に下がっていき、いよいよ自らの支持基盤を党内に求めなくてはならなくなった時に内閣改造(2003年9月)を迎え、ここで森、青木幹雄、古賀誠などの党内有力者や公明党から支持の見返りに、山崎、竹中のどちらか(もしくは両方)の更迭を再び決定的に突きつけられた。
ここで小泉は苦渋の決断で山崎を切った。副総裁に名前こそ昇格したものの副総裁は名誉職的意味合いが強い。
失意の中の山崎はスキャンダル騒動にもみまわれ、人事2ヵ月後の2003年の総選挙で落選してしまう。しかし、抵抗勢力への盾役、党・公明党へのパイプ、政治全般の相談役を担っていた山崎が小泉には欠かせなく、落選した山崎を民間人、非常勤の内閣総理大臣補佐官として起用する。