Joseph Berger est le fils d'un maître menuisier. Il a suivi les cours de l'École publique de dessin en même temps que ceux du collège de Langres. Il a remporté le premier prix de l'école de dessin le . Les combats de la campagne de France à partir de la fin de 1813, puis l'occupation du pays par les armées alliées contre Napoléon vont arrêter ses études de dessin. Il a alors rencontré un ami émigré de sa famille, Laurent-Bournot, peintre d'un certain talent, qui lui a alors enseigné les rudiments de la peinture. En 1818, il est parti suivre les cours de l'école fondée à Dijon par François Devosge qui était alors dirigée par son fils Anatole Devosge. Quatre mois après son arrivée, en , il obtient le premier prix de peinture ce qui lui vaut une gratification de 300 francs de Louis XVIII.