Fu deputato del Partito Socialdemocratico di Germania al Reichstag dal 1924 fino al 1933; massone, dopo l'avvento al potere di Hitler fu tra i più tenaci oppositori del regime, finendo più volte in carcere tra il 1933 ed il 1937. Fece parte della congiura contro Hitler in cui figuravano Ernst von Harnack, Ludwig Schwamb, Ludwig Beck e Claus Schenk von Stauffenberg. Secondo i congiurati, Leber avrebbe dovuto diventare il nuovo Ministro degli Interni dopo il colpo di stato. Tradito da un informatore, Leber fu arrestato dalla Gestapo il 5 luglio 1944, quindici giorni prima dell'attentato a Hitler. Giudicato da un tribunale speciale, il Volksgerichtshof, fu condannato a morte il 20 ottobre 1944. Fu giustiziato il 5 gennaio 1945 a Berlino nella prigione di Plötzensee.