В 1941 году Гитман был призван в Рабоче-Крестьянскую Красную Армию, несмотря на то, что, будучи больным тяжёлым хроническим плевритом, призыву не подлежал (при призыве скрыл болезнь и заявил об утере военного билета). Принимал участие в обороне Кавказа. В 1942 году Гитман вступил в ВКП(б).