Absolwent seminarium nauczycielskiego w Krośnie, po ukończeniu którego podjął (od 1917 roku) pracę na stanowisku kierownika młyna w Jaśle. W dniu 5 listopada 1918 roku wstąpił jako ochotnik do kompanii krośnieńskiej (będącej częścią 3 batalionu Strzelców Sanockich), z której został zwolniony pod koniec tegoż miesiąca. Do odrodzonego Wojska Polskiego wcielony z dniem 13 grudnia 1918 roku, z jednoczesnym przydziałem do 1 pułku artylerii polowej. Uczestnik wojen polsko-ukraińskiej i polsko-radzieckiej. W szeregach 1 pap walczył pod Przemyślem, Stanisławowem i Bobrujskiem. Z końcem września 1919 roku został bezterminowo urlopowany z wojska, powrócił do służby w dniu 16 lipca 1920 roku. Otrzymał wówczas przydział do 21 pułku artylerii polowej, wchodzącego w skład Dywizji Górskiej. Odznaczył się w dniu 30 sierpnia 1920 roku podczas wyprawy na Gródek Jagieloński, kiedy to pełniąc służbę jako wywiadowca wziął do niewoli bolszewika (kozaka) z ważnymi rozkazami. Za ten czyn kanonier Józef Mazurkiewicz odznaczony został Krzyżem Srebrnym Orderu Virtuti Militari. Nadanie to zostało następnie potwierdzone dekretem Wodza Naczelnego marszałka Józefa Piłsudskiego L.2948 z 11 maja 1921 roku (opublikowanym w Dzienniku Personalnym Ministerstwa Spraw Wojskowych nr 20 z dnia 21 maja 1921 roku).