Józef Franczak nació en la aldea polaca de Kozice Górne, a unos 30 kilómetros de Lublin. Después de asistir a una Escuela de gendarmería en Grudziądz, fue destinado como soldado del ejército polaco en Równe (entonces en Polonia, ahora Rivne, Ucrania). Fue capturado durante la invasión soviética de Polonia, pero escapó y se unió a una de las primeras organizaciones de resistencia polacas, Związek Walki Zbrojnej, que más tarde se convirtió en Armia Krajowa.