L'aide-major Bilhaut fut ensuite nommé au d'Infanterie de marche de l'armée de la Loire. Seul responsable du service médical de ce régiment, il prit part avec lui à la bataille d'Orléans (2-). Dans la retraite qui suivit la prise de cette ville par les Allemands, il servit également de médecin à plusieurs autres corps d'armée, soignant les blessés sous le feu de l'ennemi, avant d'assister à la bataille du Mans (11-). Les « preuves de zèle et de dévouement » qu'il donna pendant cette campagne lui valurent d'être proposé pour la croix de chevalier de la Légion d'honneur (qu'il ne reçut cependant qu'en 1903, treize ans avant d'être promu officier de cet ordre).