是在别动军（突击队）内当一个排的排长，之后由于表现优异而获得晋升，1965年成为上尉、1968年升至少校、1971年升至中校，最后于1974年升至上校，担任过第21步兵师33团第1营营长、第9步兵师第15团团长等。在他升上校的同一年，被派遣至国土极南的彰善省就任省长。1975年4月30日，南越总统杨文明在北越的越南人民军进城后宣布无条件投降、结束越南战争，而他在第4军（第4军区）内的两位上级长官——军长阮科南少将和副军长黎文兴准将均已饮弹自杀。但胡玉瑾拒绝接受投降令，并指挥部下继续与越共对抗，守住省政府