接受训练，毕业后被授予准尉军衔。胡玉瑾第一次带部队的经验，是在别动军（突击队）内当一个排的排长，之后由于表现优异而获得晋升，1965年成为上尉、1968年升至少校、1971年升至中校，最后于1974年升至上校，担任过第21步兵师33团第1营营长、第9步兵师第15团团长等。在他升上校的同一年，被派遣至国土极南的彰善省就任省长。1975年4月30日，南越总统杨文明在北越的越南人民军进城后宣布无条件投降、结束越南战争，而他在第4军（第4军区）内的两位上级长官——军长阮科南少将和副军长黎文兴准将均已饮弹自杀