Mediauppspelning stöds inte på den här enheten
Efter en poänglös första period sköt James Desmarais ett skott mot Mike Clemente i nätet för jättarna.
Taylor Dickin jämnas ut och Cody Cartier gjorde det avgörande målet bara 43 sekunder in i den tredje perioden.
Giants ligger fortfarande sex poäng bakom ledarna Cardiff Devils i ställningarna, med en match i handen.
Storm höll Jackson Whistle upptagen i den första perioden och Giants netminder igen utmärkte sig i den andra perioden.
Belfast spelare-coach Derrick Walser skramlade utanför posten i den andra perioden och besökarna genomdränkt Giants tryck i de sista minuterna av tävlingen.
Giants nästa match är hemma till Braehead Clan på fredag (19:00 GMT), laget de besegrade 5-1 på boxningsdagen.
Därefter besöker Coventry Blaze SSE Arena den 2 januari (16:00).
Belfast Giants unbeaten körning av 10 matcher kom till ett slut på onsdag kväll med en 2-1 Elite League nederlag av Manchester Storm på SSE Arena.