Josef Mohr var ett av flere uekte barn av musketeren Franz Mohr og hans senere hustru Anna (født ). Han vokste opp i huset Steingasse Nr. 31 i Salzburg. Faren deserterte snart både fra det militære og fra kone og barn. Med finansiell støtte fra Salzburgs domvikar Johann Nepomuk Hiernle, som innså Mohrs musikalske talent, kunne han studere først ved Akademisches Gymnasium i Salzburg og fra 1808 til 1810 ved benediktinerstiftet Kremsmünsters gymnasium i Oberösterreich. Han avsluttet med et treårig teologisk studium.