После увольнения из рядов АОИ Ами Аялон продолжил государственную службу как директор Службы общей безопасности (ШАБАК). На эту должность он был назначен в 1996 году, после убийства премьер-министра Ицхака Рабина и отставки предыдущего директора Карми Гилона и на протяжении работы в ШАБАК прилагал усилия по исправлению имиджа этой организации. В 1996 году ШАБАКу пришлось работать в условиях волны террористических актов со стороны палестинцев: как вспоминает сам Аялон, в последнюю неделю февраля и первую неделю марта — первые дни его работы в ШАБАК — в терактах погибли 55 израильтян и ещё 215 были ранены. Но ведомство Аялона, сочетая в своей работе жёсткие меры с налаживанием тесных контактов с палестинской стороной, сумело эту волну погасить.