Shcherbina lahir di Debaltseve, Oblast Donetsk, RSS Ukraina tanggal 5 Oktober 1919 dari keluarga pegawai jawatan kereta api Ukraina. Ia bergabung dengan Partai Komunis Uni Soviet (PKUS) tahun 1939 dan dinas militer ketika Perang Musim Dingin melawan Finlandia pecah.