Basileios merupakan putra Kaisar Romanos II dan Maharani Theophano, yang keluarga ibundanya berasal dari Yunani dari Peloponnesos, yang diduga berasal dari kota Sparta. Leluhur dari pihak ayahandanya tidak jelas, diduga leluhurnya adalah Basileios I Makedonia, sesepuh dinasti tersebut yang dikaitkan sebagai beragam Bangsa Armenia, Slavik, atau Yunani. Dipastikan ayahanda Leon VI ho Sophos (kakek moyang Basil II) diduga bukan Basileios I melainkan Mikhael III. Keluarga Mikhaēl III adalah Anatolia dari Phrygia dan berkebudayaan dan berbicara bahasa Yunani, meskipun awalnya dari iman sesat Athinganoi. Pada tahun 960, Basileios dinaikkan ke atas takhta oleh ayahandanya yang kemudian meninggal pada tahun 963 ketika Basileios hanya berusia lima tahun. Karena ia dan saudaranya, calon Kaisar Konstantinus VIII (bertakhta 1025–1028) terlalu muda untuk memerintah dengan haknya sendiri, ibunda Basileios Theophano menikah dengan salah satu jenderal pemimpin Romanos, yang naik takhta sebagai Kaisar Nikephoros II Phokas beberapa bulan kemudian pada tahun 963. Nikephoros tewas terbunuh 969 oleh keponakannya Ioannes I Tzimiskes, yang kemudian menjadi kaisar dan memerintah selama tujuh tahun. Ketika Tzimisces meninggal pada tanggal 10 Januari 976, Basileios II akhirnya naik takhta sebagai kaisar senior.