Młody Józef (zgodnie z własnymi predylekcjami) od dziecka szkolony był z myślą o służbie wojskowej, chociaż książę Pepi (jak go nazywano) uczył się również np. gry na instrumentach klawiszowych – przenośny instrument towarzyszył mu nawet w czasie wypraw wojennych. Jak ojciec (który umarł, gdy Józef miał 10 lat), wstąpił do wojska austriackiego, gdzie w 1780 został porucznikiem, a w 1788 doszedł do stopnia pułkownika i został adiutantem cesarza Józefa II. W 1786 został kawalerem Orderu Świętego Stanisława. W 1788 walczył w wojnie austriacko-tureckiej. 24 kwietnia został poważnie ranny prowadząc szturm twierdzy Šabac w Serbii. Pod Šabacem Poniatowski ocalił też życie o kilka lat młodszemu koledze, księciu Karolowi Filipowi Schwarzenbergowi, przyszłemu pogromcy Napoleona w bitwie pod Lipskiem.