Johannes dukker først opp i historien som «protonotarius», en betrodd administrativ medarbeider, hos keiser Basileios II (styrte 976-1025). Etter at Romanos III kom til makten utnevnte han Johannes til «praepositus sacri cubiculi», nærmest en hushovmester i keiserpalasset. Det var normalt at evnukker innehadde denne posisjonen.