Basileios var i ferd med å forberede et felttog for å gjenerobre Sicilia da han døde 15. desember 1025. Basileios skulle egentlig bli gravlagt i den siste sarkofagen i Konstantin den stores rotunde i De hellige Apostlers kirke i Konstantinopel, men han hadde senere bedt sin bror og etterfølger Konstantin VIII om å bli gravlagt i Evangelisten Johannes’ kirke i Hebdomon (Bakırköy) utenfor Konstantinopels murer. En gravskrift om hans bedrifter ble satt på graven hans, men graven ble plyndret og skjendet av korsfarere under det fjerde korstog i 1202-1204.