Nguyễn Đức Sơn sinh năm 1950 tại xã Bạch Hạ, huyện Phú Xuyên, tỉnh Hà Tây (nay là thành phố Hà Nội). Năm 1967, dù chưa đủ 18 tuổi, ông vẫn tham gia vào quân đội. Năm 1972, trong cương vị Chính trị viên của Tiểu đoàn 5, Trung đoàn 165, Sư đoàn 312, ông đã tham gia trận chiến tại Thành cổ Quảng Trị. Vào tháng 7, Sư đoàn 312 nhận được lệnh đánh từ Cánh đồng Chum (Lào) về Quảng Trị. Tiểu đoàn 5 của ông là đơn vị đầu tiên vượt Sông Thạch Hãn, tiến vào sâu trong trận địa để chi viện cho Trung đoàn 48, Sư đoàn 320. Trong thời gian tham gia quân ngũ, ông đã trải qua nhiều vị trí: Trưởng phòng Tổ chức Quân đoàn, Chủ nhiệm chính trị Sư đoàn, Sư đoàn phó về chính trị thuộc Quân đoàn, Cục trưởng Cục Tổ chức Tổng cục Chính trị, Bí thư đảng ủy Quân đoàn, Bí thư Đảng ủy kiêm Chủ nhiệm Chính trị Bộ Tổng tham mưu Quân đội nhân dân Việt Nam. Năm 2006, ông được thăng quân hàm Trung tướng.