לאחר מינויו של יצחק שמיר לשר החוץ, נבחר בן אהרון לשמש כראש לשכתו, באוקטובר 1983, כששמיר נכנס לתפקידו כראש הממשלה, מונה בן אהרון ליועצו המדיני. לאחר הבחירות לכנסת האחת עשרה ב-1984 שימש כראש לשכתו של שמיר שמשרד החוץ לאחר מימוש הסכם "הרוטציה" ב-1986 וכניסתו של שמיר לתפקיד ראש הממשלה, מונה בן אהרון למנכ"ל משרד ראש הממשלה וכיהן בתפקיד עד 1992. במהלך תפקידו שימש יו"ר המשלחת הישראלית לשיחות השלום עם סוריה בעקבות ועידת מדריד (1991).