В 1934 году Жеребцов был призван на службу в Рабоче-крестьянскую Красную Армию. Проходил службу в войсках НКВД СССР: сначала во внутренних войсках, а затем в пограничных войсках. Участвовал в Хасанских боях 1938 года. В 1938—1940 годах служил в морском пограничном отряде в Магадане. В начале 1941 года окончил курсы усовершенствования политсостава при Харьковском кавалерийском пограничном училище НКВД СССР имени Ф. Э. Дзержинского, после чего продолжал службу на Украине.