Efter att ha misslyckats med att göra mål i sina senaste sex hemmamatcher, Saints tog ledningen efter bara 10 minuter när Manolo Gabbiadini side-foot förbi Joe Hart.
West Hams problem då spiralerade, som Marko Arnautovic skickades iväg för att armbåga Jack Stephens, innan Dusan Tadic gjorde det 2-0 från straffplatsen efter Jose Fonte tog ner Steven Davis.
Sommar signering Javier Hernandez trodde att han hade ryckt en osannolik comeback för besökarna med två mål från nära håll varje sida av halvtid.
Men Hammers medgav en andra straff när Pablo Zabaleta buntade in i Maya Yoshida och ersatte Austin kyligt slitsade förbi Hart.
Domare Lee Mason hade några viktiga beslut att fatta under den dramatiska matchen på St Mary's - och han fick de flesta av dem rätt.
Mason var kvar med lite val men visa en rak röd till Arnautovic på 33 minuter, efter Hammers skivsignering i onödan höjde hans armbåge i Stephens hals. Den österrikiska internationalen bad senare fansen om ursäkt för hans avskedande.
Det första straffet var också lätt att ge, som tidigare Saints försvarare Fonte drog ner Davis, men den andra spot-kick i 91: a minuten var en mer omtvistad fråga.
Zabaleta fångade en stigande Yoshida i ryggen, när han gick för att leda bollen från nära håll, och Mason beslutade Hammers försvarare hade hindrat sin Southampton kontra-del.
West Ham hade tidigare haft en handboll appell mot Stephens vinkade bort, medan domaren inte straffa Mark Noble för hans utslag utmaning på Saints midfielder Mario Lemina, som gjorde sin debut efter hans £18.1m flytta från Juventus.
Innan mot Hammers, hade Southampton inte gjort mål på hemmaplan sedan 5 april - 576 minuter av fotboll.
De hade 29 skott mot Swansea förra veckan, landar bara två på mål i sin mållösa dragning, så det var en kollektiv suck av lättnad runt St Marys när Gabidani slitsade hem efter Nathan Redmonds genom bollen.
Saints kunde bara göra mål från öppet spel en gång under matchen, men Gabbiadini och Redmond båda gick nära med långdistans ansträngningar.
Substitute Shane Long hade bollen i nätet i andra halvan men domare Mason hade redan blåst för en foul på målvakt Hart i uppbyggnaden.
Mediauppspelning stöds inte på den här enheten
Med sin hemmaplan ur bruk fram till nästa månad efter friidrott VM, det var alltid kommer att vara en teststart på säsongen för West Ham.
De startade sin kör av fyra på varandra följande bort matcher med en pinsam 4-0 nederlag mot Manchester United förra helgen, men satte i en mycket förbättrad display på St Marys - även efter att ha gått ner till 10 män.
Hernandez, som kom för £ 16m från Bayer Leverkusan, levde upp till sitt rykte som en potent tjuvskytt med sina första två mål för sin nya klubb.
Mexico International knackade i West Hams öppnare efter Fraser Forster parerade Michail Antonios skott i hans väg, och gjorde samma sak igen för hans andra mål - denna gång efter Diafra Sakhos huvud kom från träarbetet.
Boss Slaven Bilic sade om sin nya strejkare: "Vi visste vad vi fick med Hernandez: en riktigt bra spelare, bra karaktär, lagspelare, verkligen entusiastisk.
"Du förväntar dig mål från honom men på toppen av målen, hans beslutsamhet, han offrade för laget på bästa möjliga sätt."
Medan Hernandez ser ut att ha bosatt sig väl, på-låne målvakt Hart fortfarande såg nervöst ibland och hans förtroende kan bucklas ytterligare efter att ha gett sju mål i två matcher.
Mediauppspelning stöds inte på den här enheten
Marko Arnautovic skrev ett meddelande på sociala medier efter matchen: "Jag vill be alla West Ham fans om ursäkt. Jag ville bara säga att jag inte ville svika mig och ni fans. En stor ursäkt till er alla."
West Ham manager Slaven Bilic på Arnautovic skickar: "Det är ett stort slag eftersom du måste spela med 10 män för en stor del av spelet. Vi har talat om allt och det kommer att stanna inne i omklädningsrummet."
Southampton manager Mauricio Pellegrino: "Det var ett svårt spel eftersom vi hade allt under kontroll efter en sändning och två mål. Det här är fotboll.
"West Ham är ett starkt lag och de vann en hel del bollar i vår låda. Det var ett trevligt spel att se, men svårt för en manager att vara i."
Southampton värd vargar i EFL Cup på onsdag (19:45 BST), innan återvänder till ligan aktion mot Huddersfield på lördagen den 26 augusti (15:00 BST).
West Ham är också i EFL Cup action på onsdag på League Två sida Cheltenham Town (19:45 BST) innan du reser till Newcastle på lördag (15:00 BST).
Matchändar, Southampton 3, West Ham United 2.
Andra halvlek, Southampton 3, West Ham United 2.
Mål!  Southampton 3, West Ham United 2. Charlie Austin (Southampton) konverterar straffet med en högerfotad skott till mitten av målet.
Pablo Zabaleta (West Ham United) visas det gula kortet för en dålig foul.
.......................................
Straffet Southampton. Maya Yoshida drar ett brott i straffområdet.
Straffet medgavs av Pablo Zabaleta (West Ham United) efter ett brott i straffområdet.
Hörnet, Southampton. Sammankallad av José Fonte.
Försök blockerat. Nathan Redmond (Southampton) vänster fotade skott utanför lådan är blockerad. Hjälpt av James Ward-Prowse.
Foul av Ryan Bertrand (Southampton).
Joe Hart (West Ham United) vinner en frispark i den defensiva halvan.
Foul av Dusan Tadic (Southampton).
Mark Noble (West Ham United) vinner en frispark i anfallshalvan.
Försök blockerat. Mark Noble (West Ham United) höger fotade skott från utsidan lådan är blockerad.
Foul av Nathan Redmond (Southampton).
Pablo Zabaleta (West Ham United) vinner en frispark på högerkanten.
Hörnet, Southampton. Förföljd av Pedro Obiang.
Försök blockerat. Oriol Romeu (Southampton) höger fotade skott utanför lådan är blockerad. Hjälpt av James Ward-Prowse.
Substitution, Southampton. Shane Long ersätter Steven Davis.
Substitution, Southampton. Charlie Austin ersätter Manolo Gabbiadini.
Försök missade. Nathan Redmond (Southampton) höger fotade skott från utsidan lådan är nära, men missar till vänster. Hjälpt av Steven Davis.
Foul av Maya Yoshida (Southampton).
Diafra Sakho (West Ham United) vinner en frispark i den defensiva halvan.
Nathan Redmond (Southampton) vinner en frispark på vänsterkanten.
Foul av Pablo Zabaleta (Väst Ham United).
Försök missade. José Fonte (West Ham United) huvud från mitten av lådan missar till höger. Hjälpt av Mark Noble med ett kors efter en viss bit situation.
Foul av Nathan Redmond (Southampton).
Pablo Zabaleta (West Ham United) vinner en frispark på högerkanten.
Substitution, West Ham United. Pedro Obiang ersätter Declan Rice.
Foul av Manolo Gabbiadini (Southampton).
Chicharito (West Ham United) vinner en frispark i den defensiva halvan.
Mål!  Southampton 2, västra Ham United 2. Chicharito (West Ham United) höger fotade skott från vänster sida av sex yard box till övre vänstra hörnet.
Försöket räddades. Diafra Sakho (West Ham United) huvud från mitten av lådan sparas i toppen av målet. Hjälpt av Aaron Cresswell med ett kors.
Försök missade. Diafra Sakho (West Ham United) huvud från mitten av lådan missar till höger. Hjälpt av Chicharito med ett kors.
Foul av Steven Davis (Southampton).
Diafra Sakho (West Ham United) vinner en frispark i den defensiva halvan.
Hörnet, Southampton. Förföljd av Aaron Cresswell.
Försök missade. Oriol Romeu (Southampton) vänster fotade skott utanför lådan missar till höger. Hjälpt av Nathan Redmond.
Substitution, West Ham United. Edimilson Fernandes ersätter André Ayew.
Substitution, West Ham United. Diafra Sakho ersätter Michail Antonio.
Tioman West Ham två gånger kom bakifrån men Charlie Austins skadetidsstraff gav Southampton deras första seger under Mauricio Pellegrino.