Anton Graff war ein Sohn des österreichischen Generalmajors Johann Anton Graff aus der Familie der Graff. Er trat 1784 in seinem 15. Lebensjahr als Kadett in das Husarenregiment Barko ein. Bereits 1785 wurde er Unterleutnant sowie im Verlauf des Türkenkriegs Rittmeister. Im August 1794 erlangte er den Rang eines Majors. Während des ersten Koalitionskriegs zeichnete er sich im Oktober 1795 bei der Vertreibung der Franzosen vom rechten Rheinufer in der Nähe von Mainz und am 19. Oktober 1795 im Gefecht bei der Brückenschanze von Neuwied aus. Daraufhin wurde er zum slavonisch-kroatischen Grenz-Husarenkorps und 1796 zu den Graf-Wurmser-Husaren versetzt. In Italien nahm er im April 1796 am Streifzug des Generals Johann von Klenau nach Governolo teil und wurde durch zwei Schüsse schwer verwundet.