越战争的爆发，被迫中断学业，直到1947年才得以返校受教育。1951年，在越南国军担任士官长的父亲替他向少年军校送出入学申请，1952年结业后，留在原校训练后辈达4年。1961年时赴官校接受训练，毕业后被授予准尉军衔。胡玉瑾第一次带部队的经验，是在别动军（突击队）内当一个排的排长，之后由于表现优异而获得晋升，1965年成为上尉、1968年升至少校、1971年升至中校，最后于1974年升至上校，担任过第21步兵师33团第1营营长、第9步兵师第15团团长等。在他升上校的同一年，被派遣至国土极南的彰善省就任省