Il 9 luglio 2002 fu nominato capo di stato maggiore generale (Ramatkal) delle IDF e mantenne la posizione fino al 1 giugno 2005. Nel corso del mandato l'impegno principale fu profuso nel sedare la seconda intifada, culminato con l'operazione Scudo difensivo del 2002. Nel febbraio del 2005 il ministro della difesa Shaul Mofaz decise di non prolungare il mandato di Ya'alon di un altro anno, inasprendo le tensioni sorte con la critica di Ya'alon al piano di disimpegno unilaterale israeliano da Gaza. Il 1 giugno 2005 Ya'alon si ritirò dall'esercito e la posizione di capo delle forze armate di Israele fu assegnata a Dan Halutz.