Entre 202 y 205, el papel ocupado por la emperatriz motivaría las envidias del prefecto del pretorio, Cayo Fulvio Plauciano, consejero muy influyente en el emperador y que lo convenció de que Julia había sido adúltera, con el consiguiente proceso y la retirada de ella de la vida pública.