Joseph Maria Johann Nepomuk Freiherr von und zu Fraunberg kom fra en av de eldste gammelbayerske adelsfamilier, som er blitt dokumentert som i nederbayerske områder siden 1347 og ble eleverte til riksfriherrestanden i 1630. Han var det andre av tre barn til den fyrstelige Freising-rådmann og overjegermester Max Joseph Freiherr von und zu Fraunberg og hans kone Maria Josepha, født Freiin von Rechberg und Rothenlöwen. Han levde til å begynne med som (adelsgutt) ved fyrstebiskopens hoff i Freising. I en alder av 14 ble han tatt opp i domkapittelet i Regensburg.