Phan Văn Giang bắt đầu cuộc đời binh nghiệp vào tháng 8 năm 1978. Khi nhập ngũ, ông là chiến sĩ thông tin thuộc Tiểu đoàn 4, Trung đoàn 677, Sư đoàn 346. Tháng 2 năm 1979, khi cuộc chiến tranh biên giới phía Bắc nổ ra, ông chiến đấu ở điểm cao 893 bản Pát, thuộc xã Cao Chương, huyện Trà Lĩnh, tỉnh Cao Bằng.