Rocard lahir di Courbevoie, Hauts-de-Seine dari keluarga Protestan, anak dari seorang ahli fisika nuklir Yves Rocard. Ia masuk politik sebagai pemimpin mahasiswa selama belajar di Sciences Po. Dia menjadi Ketua Mahasiswa Sosialis Prancis yang berafiliasi dengan partai sosialis utama Prancis pada waktu itu, yakni "Section française de l'Internationale ouvrière" (SFIO), dan belajar di "École nationale d'administration" (ENA), setelah itu ia memilih untuk bekerja di "Inspection générale des finances". Sebagai orang yang anti-kolonialis, ia pergi ke Aljazair dan menulis laporan mengenai kamp pengungsi yang secara luas diabaikan akibat dari Perang Kemerdekaan Aljazair (1954-1962). Laporan ini bocor ke surat kabar "Le Monde" dan "France Observateur" pada bulan April 1959.