Den reformistiska gruppen Omid (Hope) vann alla 21 platser och kastade ut sina konservativa rivaler som hade suttit vid makten i 14 år.
Rouhani vann fredagens presidentval i den första omgången.
Han lovade väljarna ett moderat och utåtriktadt Iran och kritiserade det konservativa rättsväsendet.
Val till rådet hölls vid sidan av presidentomröstningen och resultaten tillkännagavs på söndagen.
Det nya stadsfullmäktige måste sammankallas inom 45 dagar när det kommer att välja en ny borgmästare att övervaka tjänster för Teherans nio miljoner invånare.
Incumbent borgmästare Mohammad Baqer Qalibaf var en kandidat i det tidiga skedet av presidentvalet men hoppade av för att backa hardliner Ebrahim Raisi.
Raisi fick bara 38,5 procent av rösterna, vilket inte räckte för att föra valet till en andra omgång.
President Rouhani, 68, sade att hans rungande seger visade att väljarna förkastade extremism och ville ha fler kopplingar till omvärlden.
Analytiker säger att han är i en stark position för att söka reformer och återuppliva Irans sjuka ekonomi.
Efter hans omval firades i huvudstaden, Teheran, med massor av unga människor som sjöng och dansade på Vali Asrtorget.
I sitt första anförande efter att resultatet tillkännagavs sade Rouhani: "Den iranska nationen har valt vägen för interaktion med världen, en väg som är långt borta från extremism och våld."
Martin Rouhani stöder den viktiga uppgörelsen med världsmakterna för att hejda Irans kärnkraftsprogram.
Irans omvalde moderata president Hassan Rouhani har fått ytterligare ett uppsving efter att reformisterna vunnit viktiga rådsval i huvudstaden, Teheran.