I juli 983 døde ottonianernes viktige støttespiller pave Benedikt VII etter å ha sittet på pavestolen i nesten ti år. Otto II returnerte til Roma i september for å utnevne en ny pave og valgte biskpoen av Pavia, Pietro Canepanova som regjerte under navnet pave Johannes XIV fra november eller tidlig desember. Mens Otto II var i Roma for å føre tilsyn med pavevalget brøt det ut malaria i det sentrale Italia og dette hindret gjenopptakelse av den militære aktiviteten i Sør-Italia. Malariautbruddet førte til slutt til døden for keiseren selv. Han døde i sitt palass i Roma i en alder av 28 år den 7. desember 983 etter å ha regjert litt over et tiår. Otto IIs penger og eiendeler ble delt mellom den katolske kirke, de fattige i riket, hans mor Adelaide og hans søster Matilda som var abbedisse i Quedlinburg, og de adelsmennene som hadde vært lojale mot ham. Otto II ble deretter gravlagt i atriet i St. Peterskirken og ble den eneste tyske herskeren som er begravet i et fremmed land og ikke i Tyskland.