Två mål av Timmy Adamson i den första halvan verkade ha korsfarare i kontroll men Crues strejkaren skickades senare av för två gula kort.
Dean Youle ledde Bangor tillbaka till strid på 68 minuter med Andy Hall utjämnande med en superb frikick.
Sub Ethan Boylan gjorde två mål i extra tid för att sätta Bangor genom.
Han sprang på en blixt för att skjuta förbi Väktaren Sean O'Neill på 99:e minuten.
Boylan producerade sedan en härlig finish för 4-2, lyfta bollen över strandade O'Neill för att se till att segern.
Adamson hade gett Crusaders ledningen i 24: e minuten efter Stephen Cockcrofts kors hade orsakat tvekan mellan försvarare Colin Nixon och väktare Paul Cairnduff.
Den Crues front man gjorde igen på 36 minuter efter Gavin Whyte hade satt chansen upp.
Adamson, som hade bokats i den första halvan för en handboll, skickades iväg när en foul tidigt i den andra halvan resulterade i ett andra gult kort.
Bangor, sju punkter klara i Irish Leagues andra division, spela Crues igen i semifinalen av County Antrim Shield.
Bangor manager Garth Scates: "Vi var utmärkta från början och hade ett par chanser i den första halvan som vi inte tog.
"Vi visste att om vi fortsatte framåt skulle vi få en chans att komma in i spelet.
"Skickandet hjälpte och vi gick tre längst bak. Vilket lagarbete, de arbetade outtröttligt."
Crusaders manager Stephen Baxter: "Skickandet var dumt. Timmy är inte en ung pojke, han är 32 år och borde ha vetat bättre.
"Vi gjorde en eller två ändringar med lördagens match mot Cliftonville i åtanke och det har kommit tillbaka för att hemsöka oss.
"Men det finns viktigare saker som pågår i världen än en fotbollsmatch så vi kommer inte att förlora någon sömn över det."
Championship En ledare Bangor kom från två mål ner för att slå Premiership titel utmanare Crusaders i League Cup kvartsfinalen.