Giants, som har misslyckats med att vinna någon av sina senaste åtta ligamatcher, förstördes av Luke Waterworths 76:e minuts försök i en topsy-turvy match.
Shaun Robinson, Rhodri Lloyd, Connor Dwyer och Mike Butt gick också över för deltid Lions, som bara har vunnit två ligamatcher 2017.
Aaron Murphy och Sam Wood var bland dem att korsa för Giants.
Darnell McIntosh och Ollie Roberts gick också över till värdarna, men den sista visselpipan möttes av boos från hemmafansen.
Huddersfield var den andra top-flight klubben att förlora till Championship motståndare i omgång fem, efter Hull KR seger över Leigh på lördag.
På andra ställen i Challenge Cup på söndagen, Super League sidan Salford övervann Toronto Wolfpack 29-22.
Dewsbury, Featherstone, Halifax och Barrow vann också för att boka sina platser i tisdagens sjätte omgång dragning, som kommer att sändas live på BBC News Channel (18:30 BST).
Swinton huvudtränare John Duffy avslöjade efter spelet att hans sida bara hade 15 passform spelare på lördag, innan debuter till på-lån Wigan par Josh Woods och Caine Barnes och out-of-kontrakt Liam Carberry.
"Det var en enorm prestation för klubben men allt går på spelarna och den medicinska personalen idag - ingenting att göra med coaching personal," sade Duffy.
"Jag vill tacka vår medicinska personal för att ha gjort ett bra jobb under de senaste veckorna. De har vänt den åt oss och pojkarna har verkligen grävt djupt."
Giants hade gått in i pausen 18-16 framåt, efter Murphy gick över ner till vänster, Wood skära inuti för att göra mål och McIntosh avslutade en grubber kick.
Rick Stones sida, utan runt 10 förstalagare, har dock bara vunnit två gånger hela säsongen i toppflyget och sprickor började visa sig som Dwyers poäng hjälpte till att sätta besökarna framåt för andra gången i matchen, efter att ha lett 10-6 vid ett tillfälle under första halvlek.
Giants var tillbaka i fronten när bollen spreds rätt till Roberts och han hittade en lucka för att göra mål, innan Waterworth gick över för att skicka den andra-tier sidan genom till den sjätte omgången.
Stone sade: "Mästerskapet är fullt av härdade proffs som har varit runt kvarteret och vet att vinna matcher, och vi såg lite av det i dag.
"Det går inte att förneka att det är ett enormt slag för oss och alla är mycket besvikna - man kan känna det.
"Det fanns några seniora spelare ute idag och några långsiktiga skador och de med niggles, men vi hade ett tillräckligt bra lag ut för att vinna men vi gjorde inte."
Huddersfield: McIntosh; Simpson, S Wood, Mellor, Murphy; Gaskell, Farrell; Rapira, Leeming, Mason, Smith, Roberts, Dickinson.
Ersättningar: Wakeman, Ikahihifo, engelska, O'Brien.
Swinton: Vit; Robinson, Hankinson, Lloyd, Butt; Woods, Atkin; Bracek, Waterworth, Lever, Dwyer, Jones, Austin.
Ersättningar: Gore, Bate, Barnes, Carberry.
Domare: Scott Mikalauskas
Championship sida Swinton slog Super League kämpar Huddersfield Giants ur Challenge Cup femte omgången.