В августе 1942 года капитан 1-го ранга Холостяков возглавил героическую оборону Новороссийска; 13 декабря 1942 года ему было присвоено звание контр-адмирала. В феврале 1943 года он участвовал в организации десантов в районе Южной Озерейки и у Станички, а затем отвечал за снабжение с моря захваченного плацдарма на «Малой земле». В 1943 году при непосредственном участии Холостякова было организовано ещё два десанта: Новороссийская десантная операция 10-11 сентября и десант у Эльтигена.