Był pierwszym szefem Szin Bet, którego nominację na to stanowisko podano do wiadomości publicznej oraz pierwszym oficerem marynarki na czele tej instytucji. Objął tę funkcję w styczniu 1996 roku, po dymisji Karmiego Gilona, który wziął na siebie pełną odpowiedzialność za niezapobieżenie zabójstwu premiera Icchaka Rabina (4 listopada 1995 roku). Po odejściu z Szin Betu w 2000 roku Ajjalon został politykiem Partii Pracy. Po przegranej rywalizacji o przywództwo z Ehudem Barakiem wycofał się w 2008 roku z życia politycznego.