Joseph Schwarzmann wurde als Sohn der Eheleute Anton Schwarzmann und Maria geb. Dilitz in Prutz geboren und wuchs dort auf. Zu seinen frühesten eigenen Erinnerungen zählten noch die Gefechte der Tiroler unter Andreas Hofer gegen Bayern und Franzosen, 1809. Schwarzmanns Vater kämpfte auf Seiten der Aufständischen und man brannte ihm das Haus ab.