Ternay passa par la suite dans le corps du duc de Bourbon et fit la campagne de 1793 en Belgique. Il assista au premier siège de Maestricht et à la bataille de Neerwinden, dont il suivit tous les mouvements avec le plus vif intérêt. Il étudiait les plans des généraux opposés, observait leurs marches, épiait, pour ainsi dire, leurs moindres mouvements, afin de surprendre les secrets de l'art dont il ne devait pas tarder à poser les principes. Au licenciement du corps du duc de Bourbon, le jeune de Ternay rejoignit en Angleterre son père et sa mère qui s'y étaient déjà retirés ; dans l'impossibilité de rentrer dans sa patrie, il sollicita et obtint en 1795 son admission au service de la Grande-Bretagne.