Вырос в селе Четкарино, посреди бедноты. В начале 1917 года подался в батраки к местному кулаку. В 1928 году семья Матвея вступила в товарищество по обработке земли, а после образования из него коммуны «Новый путь», 20-летний Ялухин был избран её первым председателем. После обострения классовой борьбы в 1929 году, как член небольшого костяка комсомольцев участвовал в раскулачивании и сразу раздавал найденное в тайниках кулаков местным коммунарам. В 1933 году, после окончания Шадринского птицеводческого техникума, приехал в образованный годом ранее птицеводческий совхоз «Балаирский» в посёлке Кузнецовский Талицкого района Уральской области, где начал работать зоотехником. Дослужившись до должности директора совхоза, вывел его в прибыльные хозяйства и за высокие показатели в 1939 году стал участником Всесоюзной сельскохозяйственной выставки в Москве, где в награду получил легковой автомобиль «ГАЗ-М1».