Der Sohn eines Gutsbesitzers aus Lucka studierte nach dem Schulbesuch am Gymnasium in Altenburg an der Universität Leipzig von 1829 bis 1832 Rechtswissenschaften, in denen er auch promovierte. Bereits in der Studienzeit entwickelte er ein politisches Engagement, indem er sich für den liberalen Nationalstaat einsetzte. Er war einer der Mitbegründer der zuvor 1819 zerschlagenen Leipziger Burschenschaft Germania, die im Revolutionsjahr 1830 einen Aufschwung erfuhr. 1835 wurde eine gerichtliche Untersuchung gegen ihn und 18 weitere Leipziger Burschenschafter (darunter auch Adolf Ernst Hensel) eingeleitet. In erster Instanz fiel ein Urteil zu Ungunsten der angeklagten Burschenschafter. Joseph wurde zu einer Gefängnisstrafe von drei Jahren verurteilt. Die verhängte Strafe musste jedoch nicht unmittelbar angetreten werden, da eine Publikation des Prozessverlaufs und des Urteilsspruchs sowie eine Intervention der II. Landtagskammer dies verhinderten. Im Verfahren vor dem Dresdner Oberappellationsgericht, das mit einem Freispruch endete, trat er neben dem späteren Landtagspräsidenten Wilhelm Schaffrath als Verteidiger auf.