1953年3月5日にスターリンが死去し、首相に就任したゲオルギー・マレンコフ書記のもとで外国貿易大臣の地位を維持した。しかし、マレンコフは党務からはずれ首相に専任となり、新たに党第一書記となったニキータ・フルシチョフが、1956年第20回ソ連共産党大会においてスターリン批判を開始するや、これを支持、スターリン批判の先頭に立つ。フルシチョフ新体制では第一副首相に就任する。1956年10月のハンガリー動乱では、ミコヤンは政治局会議でソビエト連邦軍の介入が国際社会における非難を浴びると主張して、フルシチョフの介入決定に対しては自らの自殺すらほのめかして強く反対したとされるが、特派大使としてハンガリーに派遣され、事態の収拾に当たった。1957年に辞職をほのめかしてフルシチョフを牽制したと言われる。その一方で同年マレンコフ、ヴャチェスラフ・モロトフ、ラーザリ・カガノーヴィチらを中心とするフルシチョフ追い落とし、いわゆる「反党グループ」事件では、一貫してフルシチョフ擁護に回り、逆にマレンコフ・モロトフ・カガノーヴィチは失脚した。ミコヤンがフルシチョフを支持し、非スターリン化に回った動機としては、旧スターリン派の勝利によって再び大粛清への回帰を予想したと言われる。以後第一副首相として対外経済関係・貿易を担当し、日本・アメリカ・メキシコなどを歴訪している。日本には1961年と1964年に訪れ、1991年にゴルバチョフ大統領が来日するまで、訪日した最高レベルのソ連の首脳であった。辣腕なミコヤンは「赤いセールスマン」と揶揄された。