Da Det hvite råd oppdaget at Sauron var tilbake etter å ha bygget opp sin styrke i Myrkskog ville de angripe Sauron og drive han ut. Men Sarumann støttet ikke forslaget. Men etter 90 år var han med og hjalp til å drive Sauron ut av sin festning Dol Guldur i Myrkskog. Uten Sarumanns hjelp ville de ikke ha greid det. Rådet diskuterte også maktens ringer og Sarumann hevded at hans studier viste at Den ene ringen var tapt for alltid. Noe som skulle vise seg å være løgn, for Sarumann lette selv etter ringen. Hans festning, Orthanc i Jarnagard, blir beskrevet som et slankt tårn av svart stein, som deler seg i spisse tinder på toppen. Tårnet ble bygd av Númenorene fra Gondor som et festningstårn. Det skulle beskytte området nær Tåkefjellene. Senere ble tårnet gitt til Sarumann, som på den tiden var en av Gondors viktigste allierte. I tårnet fant Sarumann en av de sju palantírene, som senere ville gjøre han til Saurons slave.