Basilios var sønn av keiser Romanos II og keiserinne Theofano som på morssiden var av gresk avstamning. I 960 ble Basileios medkeiser sammen med sin far, som døde allerede i 963 da Basileios bare var 5 år gammel. Både Basileios og hans bror (den senere keiser Konstantin VIII) var for unge til å regjere på egen hånd, og Basileios’ mor Theofano giftet seg raskt med en av Romanos’ generaler som ble kronet til keiser med navnet Nikeforos II Fokas noen måneder senere i 963. Nikeforos ble drept i 969 av sin nevø, general Johannes I Tzimiskes som deretter ble keiser og regjerte i sju år. Da Johannes Tzimiskes døde den 10. januar 976 kunne Basileios endelig tiltre som enekeiser.