En la temporada 2004-05 las lesiones mantuvieron a Ayala fuera de la mayor parte de la Liga, de la victoria frente al Porto en la Supercopa de Europa 2004, de la Supercopa de España, la Liga de Campeones y la Copa de la UEFA. Sus ausencias no ayudaron al Valencia en su pobre actuación esa temporada a las órdenes del italiano Claudio Ranieri. Las siguientes temporadas fue uno de los líderes de la zaga defensiva del equipo dirigido por Quique Sánchez Flores, con resultados irregulares. Disputó un total de 253 partidos, anotando 12 goles.