Joseph Clemens var tredje sønn av kurfyrst Ferdinand Maria av Bayern og hans hustru Henriette Adelaide av Savoyen. Han hadde seks søsken.