"Efter åtta underbara år på X Factor är det dags för mig att gå vidare", sade han i ett uttalande.
"Jag vill tacka ITV, Simon [Cowell], familjen X Factor och särskilt tittarna, som alla har varit en stor del av mitt liv under så lång tid."
41-åringen tog över efter Kate Thornton 2007 som värd för den populära talangshowen.
Presentören och programföretaget presenterar för närvarande en show på Radio 2 och avslutade nyligen en 24-timmars dansutmaning för Comic Relief.
"Jag vill önska laget allt gott för framtiden, särskilt den som tar över från mig", fortsatte O'Leary.
"Du är på väg att bli dirigent på det mest lysande, rymling tåg i showbiz. Lycka till du kommer att älska det!"
Nyheterna om hans avgång kan underblåsa spekulationer att O'Leary är en utmanare att ersätta Jeremy Clarkson på BBC: s Top Gear.
Innan fredagens tillkännagivande, William Hill hade O'Leary som 6-1 att ta över efter BBC: s beslut att inte förnya Clarksons kontrakt tidigare i veckan.
Innan X Factor, O'Leary värd Big Brother's Little Brother, Channel 4: s följeslagare show till sin långvariga verklighet show.
Han har presenterat på BBC Radio 2 sedan 2004 och har varit värd för National Television Awards sedan 2010.
Bookmakers Ladbrokes har gjort sångaren Olly Murs, en före detta X Factor tvåa, favorit för att ta över den lediga presentrollen.
En talesman för ITV sa att O'Leary hade varit "en fantastisk värd för X Factor" och att kanalen var "sorg att se honom gå".
"Vi önskar honom allt gott för framtiden och hoppas att han snart kommer tillbaka på ITV-skärmar."
Dermot O'Leary kommer inte längre att vara värd för ITV:s X-faktor efter åtta år på programmet.