Мойше Юдовин родился в многодетной еврейской семье. Отец был коробейником, разносившим по деревням недорогой товар, мать — домохозяйкой. Будущий поэт рано проявил склонность к учению, и, как большинство детей черты оседлости, получил начальное образование в хедере. Родители решили, что он должен продолжить образование, и определили сына в Воложинскую иешиву. Однако иешиву Мойше не закончил, увлекся светской литературой и вернулся домой, где сблизился со своим родственником Соломоном Юдовиным.