Народився в родині робітника-залізничника. Після закінченні школи 1937 року вступив до Харківського інституту інженерів залізничного транспорту. Навчання переривалося участю в радянсько-фінській війні у складі 316-го окремого лижного ескадрону, куди Щербина відправився добровольцем.