Blake Govers gjorde en hatt-trick för värdarna, inklusive en sista minuten vinnare från en straffhörna.
Två Ashley Jackson mål satte Storbritannien 2-0 framåt, men Govers gjorde mål två gånger och Matthew Dawson en gång för att sätta Australien framför, innan Sam Ward gjorde det 3-3.
Lördagens öppningsmatch slutade 2-2, så värdarna håller en 1-0 serie bly som går in i tisdagens sista Test i Perth.
Det var andra gången på två dagar som GB hade slösat bort en vinnande position mot världens främsta rankade lag.
"Vår prestation idag var full av inkonsekvens," sade GB huvudtränare Bobby Crutchley.
"Vi hade några anständiga trollformler, men led av alltför många omsättningar i besittning. Vi kommer att leta efter förbättringar i det tredje testet."
Storbritannien kapitulerade en två-måls bly att förlora 4-3 till Australien i ett dramatiskt andra test i Narrogin.