Jabarkan Ajax dari Louis van Gaal dalam bahasa melayu

Pada 2004, beliau kembali ke Ajax untuk menjadi direktor teknikal tetapi beliau ada sedikit kontroversi dengan Ronald Koeman.

Pada Januari 2005, beliau menggantikan Co Adriaanse sebagai pengurus AZ Alkmaar pada 1 Julai 2005. AZ di bawah van Gaal berjaya menduduki tempat kedua liga pada musim 2005-06 dan 2006-07. Van Gaal juga berjaya membawa AZ sebagai naib juara pada Piala KNVB dan tewas pada kelayakan play-off Liga Juara-Juara UEFA 2007-08 selepas tewas 4-2 kepada Ajax secara agregat.

Van Gaal ingin meninggalkan AZ pada penghujung musim pada 2007-08 selepas AZ menduduki tempat ke-11 liga. Walau bagaimanapun, pemain-pemainnya lebuh suka van Gaal di AZ dan beliau ingin memberi peluang melatih sekali lagi.

AZ memulakan musim 2008–09 dengan dua kekalahan tetapi kelab Alkmaar itu mula rekod tanpa kalah sehingga 18 April. AZ menghabiskan musimnya dengan 28 perlawanan tanpa kalah. Pada hari yang sama, Ajax tewas mengejut 6-2 kepada PSV Eindhoven. AZ dinobatkan sebagai juara liga selepas berjaya mengutip 80 mata manakala pemain AZ, Mounir El Hamdaoui menjadi penjaring terbanyak liga dengan 23 gol.