Surnommé « Little Baggio », en référence à l'Italien Roberto Baggio, son temps de jeu augmente lors de la saison 1995-1996. Il dispute vingt-sept matchs dont treize en tant que remplaçant, et inscrit ses deux premiers buts en championnat. La saison suivante, avec le retour au club de Kader Ferhaoui, il est moins utilisé par l'entraîneur Michel Mézy. Il connaît cependant, en fin de saison, sa seule et unique sélection en équipe de France espoirs. Appelé par le sélectionneur Raymond Domenech pour disputer les Jeux méditerranéens de 1997, il entre en jeu à la de la rencontre face à la Grèce, perdue sur le score de trois buts à zéro, en remplacement de Ludovic Asuar. Il dispute ensuite la Coupe du monde militaire où il se blesse, ce qui lui fait rater le début de la saison suivante. Titulaire à partir de la saison 1998-1999, il termine meilleur buteur du club avec douze buts inscrits toutes compétitions confondues. L'année suivante, il participe à la campagne victorieuse en Coupe Intertoto, mais ne dispute cependant pas la finale face au Hambourg SV. En championnat, le club, après treize années en première division, est relégué en fin de saison. Philippe Delaye réalise cependant une saison pleine en inscrivant six buts et en délivrant six passes décisives.