Родился а на хуторе Новорусском, в области Войска Донского, в семье крестьян Филиппа и Татьяны Алёхиных. Кроме Якова, в семье было ещё трое старших сыновей — Иван, Василий и Тихон. При раскулачивании семья подверглась репрессиям и была выслана в Сибирь, где все его родные скончались. Вернувшись на Украину со статусом сына «врага народа», он с 1935 по 1941 годы работал на металлургическом заводе имени Ильича в Мариуполе. За отказ от вступления в компартию и исповедание православной веры он снова подвергся угрозе преследований и ареста.