Шчербина је рођен у Дебаљцеву у Доњецкој области, Украјинска ССР 5. октобра 1919. године у породици радника на железници. Комунистичкој партији Совјетског Савеза придружио се 1939. године и добровољно се пријавио за војну службу током Зимског рата са Финском.