Виріс у селі Четкарино, посеред бідноти. На початку 1917 року подався в найми до місцевого куркуля. У 1928 році родина Матвія вступила до товариства з спільної обробки землі, а після утворення з нього комуни «Новий шлях», 20-річний Ялухін був обраний її першим головою. Після загострення класової боротьби в 1929 році, як член невеликого костяка комсомольців брав участь у розкуркулюванні і відразу роздавав знайдене в схованках кулаков місцевим комунарам. У 1933 році, після закінчення Шадринського птахівничого технікуму, приїхав в утворений роком раніше птахівничий радгосп «Балаірський» в селищі Кузнецовський Талицького району Уральської області, де почав працювати зоотехніком. Дослужившись до посади директора радгоспу, вивів його в прибуткові господарства та за високі показники в 1939 році став учасником Всесоюзної сільськогосподарської виставки у Москві, де в нагороду отримав легковий автомобіль «ГАЗ-М1».