Selv om Julian den frafalne først virket til Athanasius fordel ved å ikke være interessert i kirken, ble han etter hvert problematisk. Fordi han ønsket å gjeninnføre den gamle gudelæren kunne han ikke akseptere at en av kristendommens store forkjempere var den mektigste mann i Egypt, og i 362 måtte Athanasius igjen søke ut i ørkenen.