FN:s chef Ban Ki-moon berättade för reportrar att han hade begärt sin avgång.
Det kommer en dag efter att Amnesty International påstod att en 12-årig flicka våldtogs av en FN-fredsbevarare.
Den 10 000-starka FN-styrkan, som utplacerades förra året för att hjälpa till att återställa ordningen i Centralafrikanska republiken, har också utsatts för anklagelser om sexuellt utnyttjande av gatubarn.
I juni inrättade Ban en oberoende granskningsgrupp för att undersöka FN:s hantering av anklagelser om sexuellt utnyttjande.
Tidigare hade FN förnekat anklagelserna om att det dolde övergrepp mot barn från franska trupper som också tjänstgjorde i Centralafrikanska republiken.
BBC Africa Live: Nyheter uppdateringar
"Jag kan inte uttrycka hur upprörd och förargad och skamsen jag är över återkommande rapporter under åren av rapporter om sexuella övergrepp och utnyttjande av FN-styrkor", sade Ban när han tillkännagav avgång Senegals armé general.
"Jag tolererar inga handlingar som får folk att ersätta tillit med rädsla."
BBC:s FN-korrespondent Nick Bryant säger att FN:s chef också noterade att problemet gick utöver en konflikt och en person.
Han sammankallar en särskild session i FN:s säkerhetsråd på torsdag för att diskutera vad han kallade "det sexuella utnyttjandets gissel".
Mr Ban kommer också att hålla en videokonferens där styrkebefälhavarna för alla fredsbevarande operationer runt om i världen samlas för att understryka sitt ansvar att upprätthålla FN:s värderingar, säger vår korrespondent.
FN:s uppdrag i Centralafrikanska republiken är känt som Minusca, från dess franska akronym, och har letts av general Gaye sedan han tog över från en mindre styrka i Afrikanska unionen i september 2014.
Oförutsedd våld trappades upp i mars 2013 då främst muslimska rebeller tog makten och landet ned i etniskt och religiöst våld, med tiotusentals människor flyr sina hem.
Denna vecka anklagade Amnesty International också FN:s soldater för att ha dödat en 16-årig pojke och hans far under en operation i huvudstaden Bangui.
FN:s sändebud i Centralafrikanska republiken (CAR), Babacar Gaye, har avskedats bland flera anklagelser om sexuella övergrepp av fredsbevarare.