Otto II ble født i 955 som tredje sønn av Tysklands konge Otto I og hans andre kone Adelheid. I løpet av 957 var Otto IIs eldre brødre Henrik (født 952) og Bruno (født 953) døde. Det samme var Otto Is sønn fra hans første ekteskap med Edith av England (Eadgyth), kronprins Liudolf, hertug av Schwaben. Dermed ble den to år gamle Otto II kongedømmets kronprins og Otto Is arving. Erkebiskop Wilhelm av Mainz fikk ansvar for guttens litterære og kulturelle utdanning. Odo I, markgreve av Sachsen, lærte den unge kronprinsen krigskunst og kongedømmets juridiske skikker.