Den sociala meddelande tjänstens medgrundare Jack Dorsey kommer att ta över som interimschef den 1 juli och stanna tills en ersättare kan hittas.
Costolo hade utsatts för påtryckningar från investerare som var missnöjda med företagets användartillväxt.
I ett uttalande sa han att han var "väldigt stolt över Twitter-teamet".
Twitter sade att dess styrelse hade bildat en kommitté för att åta sig uppgiften att hitta en efterträdare.
Efter tillkännagivandet ökade aktierna i bolaget med mer än 7 % i handeln efter det att de amerikanska marknaderna hade stängts.
Twitter debuterade på New York Stock Exchange 2013 men har inte lagt användare så snabbt som investerarna hade hoppats.
I april, företaget missade Wall Streets prognoser för intäktstillväxt och postade en nettoförlust på $162m (Â£104m).
Dess aktiekurs har sjunkit nästan 30% sedan dess, och handlar för närvarande under det pris den debuterade på 2013.
Analytiker är fortfarande pessimistiska när det gäller företagets förmåga att växa.
Forskningskonsultföretaget eMarketer uppskattar att Twitters månatliga användarbas kommer att växa bara 14,1% i år, saktar ner från mer än 30% två år sedan.
2019 säger eMarketer att Twitters användartillväxt kommer att vara bara 6% över hela världen.
När Costolo tillkännagav sin avgång sade han i ett uttalande: "Jag är oerhört stolt över Twitter-teamet och allt som teamet har åstadkommit tillsammans under mina sex år med företaget.
På ett konferenssamtal för att diskutera flytten tillade han att han hade beslutat att gå nu eftersom han kände den fortsatta granskningen om han skulle förbli en "distraktion" och av "ingen hjälp till företaget".
Mr Dorsey ifrågasatte vad styrelsen letade efter i sin nästa verkställande direktör och sade att sökteamet skulle ta så lång tid som behövs och att kandidaten kunde komma inifrån eller utanför företaget. Men han tillade att de visste en sak säkert: han eller hon borde vara en Twitter-användare.
Dorsey sade att det viktigaste attributet var att de " verkligen använder och älskar produkten på alla sätt".
Problemet Costolo inte kunde lösa var hur man locka nya användare.
Eller åtminstone tillräckligt med nya användare för att hålla tillväxthungriga Wall Street investerare nöjda.
Och av de som anmälde sig sa analytiker att de inte fick tillräckligt med skäl för att stanna länge.
Varför avstod Twitter chefen?
Nate Elliott, analytiker på Forresters forskning, sa att nyheten om hans avresa inte var förvånande.
"Twitter har aldrig varit bra på att ge sina användare skäl att komma tillbaka", sade Mr Elliott.
"Även om andra sociala webbplatser har infört nya funktioner och funktionalitet de senaste åren, Twitter har mestadels stått stilla. Resultatet har varit oerhört långsam användartillväxt."
Vissa har dock varnat för att höga förväntningar på investeraren när det gäller Twitters förmåga att lämna in till nästa Facebook kan vara överblåst.
Teknikbloggaren John Gruber skrev på sajten Daring Fireball: "Jag tror att det Wall Street vill ha är en pipdröm: för Twitter att förvandlas till en annan Facebook.
"Ingen chef kommer att få det att hända."
Mr Costolo kommer att kvarstå i bolagets styrelse. Han har varit direktör sedan september 2009 och blev verkställande direktör i oktober 2010.
Dick Costolo avgår som verkställande direktör för Twitter, har företaget meddelat.