Kocka studerte historie, statsvitenskap, sosiologi og filosofi i Wien, Berlin og North Carolina. Hans avhandling fra 1968 omhandlet ledelse og arbeidstakere i selskapet Siemens i perioden 1847–1914. Fra 1973 til 1988 var han professor i Bielefeld, og senere professor i industrilandenes historie ved Freie Universität Berlin. Sammen med historikerkollegaen Hans-Ulrich Wehler grunnla Kocka retningen i tysk historieskriving som har blitt kalt Bielfeldskolen. I motsetning til hovedretningen i tysk historiografi som var dominert av politisk historie, var Bieldfeld-historikerne mer opptatt av sosialhistorie. På 1980-tallet ble sosialhistorien i sin tur utfordret av retninger som kultur- og dagliglivshistorie.