Нарадзіўся 19 лістапада 1887 г. у сям'і мінскіх мяшчан Ігната Ігнатавіча і Юзэфы Фёдараўны Мазуркевічаў ва ўрочышчы Падкрыжыкі маёнтка Целякова. Хрысцілі хлопчыка праз 10 дзён у Свята-Пакроўскай царкве вёскі Целякова (цяпер — в. Уздзенскага раёна Мінскай вобл.). Меў малодшых сясцёр Эмілію і Анастасію (памерлі ў дзяцінстве), брата Антона. Пасля смерці бацькі Язэп быў аддадзены на вучобу ў Багушэвіцкую настаўніцкую школу, дзе вучыўся за кошт мецэнацкай стыпендыі канцлера Філіпава. У 1904 г. пачаў настаўнічаць у школе граматы на Ігуменшчыне, а з 1906 г. атрымаўшы экстэрнам званне настаўніка пачатковай школы да 1915 г. працаваў у Навагрудскім павеце. У 1915—1918 гг. быў загадчыкам Бежанскай франтавой перасоўнай школы № 5 каля Баранавіч. У час нямецкай акупацыі Беларусі (1918—1919 гг.) настаўнічаў у Камышынскім павеце Саратаўскай губерні. У час польскай акупацыі Беларусі працаваў у прыватнай школе ў в. Лысіца пры станцыі Замір'е ў Наваградскім ваяводстве, дзе прымаў удзел у падпольным і партызанскім руху. У 1921 г. быў арыштаваны польскай дэфензівай і зняволены ў Баранавіцкай турме. 1 сакавіка гэтага ж года ўцёк з турмы, пасля чаго настаўнічаў на Случчыне.