De kommer att förenas vid nästa års OS av Sydafrika som besegrade Ekvatorialguinea i Bata 1-0.
Det är första gången som ett Zimbabwelag har kvalificerat sig för en global fotbollsturnering.
Rudo Neshambas åttonde minuten mål var tillräckligt för att skicka Zimbabwe till Brasilien.
Det är en stor prestation för oss, jag är så glad att jag inte ens kan förklara hur jag känner just nu
Resultatet innebar att slipsen slutade på 2-2 på aggregerad nivå, med Zimbabwe kvalificerar sig för away-goals regeln.
Det var en besvikelse för Kamerun som representerade Afrika vid Women's World Cup i Kanada och som nådde den andra omgången.
Neshamba (bilden) var återigen Zimbabwes match-vinnare, efter att ha gjort sitt avgörande borta mål i första benet i Yaounde.
Hennes kapten Felistas Muzongondi sa att det var en berömd dag i deras fotbollshistoria.
"Det är en stor prestation för oss, jag är så glad att jag inte ens kan förklara hur jag känner just nu," Muzongondi berättade BBC Sport.
"Detta är vår första gång i historien för att slå Kamerun, och vi väntade oss detta eftersom vi förberedde oss mycket väl."
Zimbabwes skeppare medgav också att det var en mycket tuff match.
"Det var så mycket intensitet så vi var tvungna att sätta mycket press på dem eftersom de har så mycket mer fysisk kondition än oss."
Zimbabwe bokade sin plats i Rio trots allvarliga ekonomiska svårigheter inför fotboll i deras land.
De kunde bara fortsätta i denna kvalturnering efter att Elfenbenskusten drog sig tillbaka.
Även på söndagen besegrade Sydafrika Ekvatorialguinea 1-0 i Bata för att vinna slipsen med samma poäng på aggregat efter att det första benet hade slutat mållös.
Jermaine Seoposenwes andra halvmål visade sig vara avgörande för Banyana Banyana och var tillräckligt för att vinna deras plats i Rio.
Sydafrikanska fotbollsförbundet (Safa) ordförande, Dr Danny Jordaan gratulerade Banyana Banyana för deras prestation.
"Idag är en historisk dag för kvinnor fotboll; inte bara har de kvalificerat sig för Rio OS men har gjort det i stil - vinna bort från hemmet i "hostile" Bata miljö," Jordaan sade i ett uttalande.
"Fyra lag överlever resor till Ekvatorialguinea som Nigeria skulle intyga men tränare Vera Pauw ritade en av de största segrarna i Sydafrikas fotboll historia," Jordaan tillade.
Sydafrikas framsteg med OS kompenserar för deras besvikelse över att missa kvalet till VM för kvinnor tidigare i år.
Zimbabwes kvinnor slog Kamerun 1-0 i andra delen av sin slutliga olympiska kval i Harare för att boka en plats i Rio 2016.