Jabarkan Masa muda dari Heinrich IV, Kaisar Romawi Suci

Heinrich lahir pada tanggal 11 November 1050. Ayahnya adalah Heinrich III, Kaisar Romawi Suci, dan ibunya adalah Agnes dari Poitou, istri kedua Heinrich III. Heinrich junior mungkin sekali lahir di kediaman ayahnya, Istana Kaisar di Goslar. Kelahirannya sudah lama dinanti-nanti, karena sekalipun Kaisar Heinrich III sudah dikaruniai empat orang putri, kawulanya telanjur percaya bahwa hanya ahli waris laki-laki sajalah yang mampu memelihara "ketenteraman negara" (sebagaimana yang dikemukakan Hermann II, Uskup Agung Köln, dalam salah satu khotbahnya). Mulanya Heinrich junior diberi nama Konrad, mengikuti nama kakeknya, Kaisar Konrad II, tetapi Hugo, Abas Biara Cluny, yang ditunjuk Kaisar Heinrich III menjadi wali baptis Heinrich junior, meyakinkan sang kaisar agar menamai ahli warisnya mengikuti nama dirinya sendiri. Dalam perayaan Natal tahun 1050 di Pöhlde, Sachsen, Kaisar Heinrich III menetapkan Heinrich junior yang masih bayi menjadi putra mahkota.

Heinrich junior dibaptis Uskup Agung Hermann di Köln pada hari Minggu Paskah tahun 1051. Pada bulan November, Kaisar Heinrich III menggelar sidang menak di Tribur guna mengukuhkan status Heinrich junior sebagai putra mahkota. Pangeran-pangeran Kekaisaran Romawi Suci yang hadir dalam sidang tersebut memilih Heinrich junior yang baru berumur satu tahun menjadi Raja Jerman. Mereka mengajukan persyaratan yang menegaskan bahwa mereka hanya akan bersedia mengakui kesahihan jabatan Heinrich junior selaku pengganti ayahnya jika ia berperilaku selayaknya seorang "penguasa yang adil" selama ayahnya masih hidup. Sejarawan Ian S. Robinson menduga bahwa pangeran-pangeran Kekaisaran Romawi Suci sesungguhnya ingin meyakinkan Kaisar Heinrich III untuk mengubah metode-metode ketatanegaraannya karena raja kanak-kanak tidak punya peran dalam penyelenggaraan negara. Pada hari Natal tahun 1052, Kaisar Heinrich III mengangkat Heinrich junior menjadi Adipati Bayern.

Heinrich junior dinobatkan Uskup Agung Hermann menjadi Raja Jerman di Aachen pada tanggal 17 Juli 1054. Mungkin sekali pada kesempatan yang sama, Konrad, adik Heinrich yang baru berumur dua tahun, diangkat menjadi Adipati Bayern oleh Kaisar Heinrich III. Sesudah Konrad wafat pada tahun 1055, pemerintahan Kadipaten Bayern diserahkan kaisar kepada Permaisuri Agnes. Kaisar Heinrich III menjodohkan Heinrich junior dengan Berta dari Savoia menjelang akhir tahun 1055. Orang tua Berta, Adelaide, Bupati Turin, dan Otto, Bupati Savoia, menguasai kawasan barat laut Italia. Kaisar Heinrich III ingin mengukuhkan persekutuannya dengan mereka dalam rangka menghadapi adipati pembangkang, Gottfried Si Berewok.

Kaisar Heinrich III mendadak sakit parah seusai menyantap hati rusa jantan pada akhir bulan September 1056. Menurut sejarawan Herbert Schutz, sakit yang diderita sang kaisar disebabkan oleh kelelahan. Dalam sakratulmaut, sang kaisar mempercayakan putranya kepada perlindungan Paus Viktor II yang jauh-jauh datang ke Jerman untuk meminta perlindungan kaisar menghadapi sepak terjang para penguasa Norman di kawasan selatan Italia. Kaisar Heinrich III tutup usia pada tanggal 5 Oktober 1056.