父亲替他向少年军校送出入学申请，1952年结业后，留在原校训练后辈达4年。1961年时赴官校接受训练，毕业后被授予准尉军衔。胡玉瑾第一次带部队的经验，是在别动军（突击队）内当一个排的排长，之后由于表现优异而获得晋升，1965年成为上尉、1968年升至少校、1971年升至中校，最后于1974年升至上校，担任过第21步兵师33团第1营营长、第9步兵师第15团团长等。在他升上校的同一年，被派遣至国土极南的彰善省就任省长。1975年4月30日，南越总统杨文明在北越的越南人民军进城后宣布无条件投降、结束越南战