Hundratals arga fans gick ut och fick pengarna tillbaka innan sångaren slutligen dök upp på Brisbane Entertainment Centre 23:15.
"En ny mamma med barnvakt gav precis upp", twittrade en fan vid 23:00.
Madonna sa senare att hon var "i högsta grad sen" och skämtade: "Det är ni som kommer hit tidigt som är problemet".
"Stanna hemma, gör ditt hår och smink, ta en tequila.
"Kom bara för sent och jag behöver inte komma tidigt. Vi har tre shower till och vi vill lösa problemet."
Senare, på Instagram, förklarade stjärnan förseningen och sade: "[Jag] ville vara perfekt för dig!" - men konsertbesökarna var rasande.
"Hur får vi tillbaka pengar efter att ha väntat två timmar på Madonna?" en upprörd fan skrev på Facebook sidan för biljettbyrå Ticketek.  "Bara vidrigt. Reste (sic) 3.5 timmar för vad?"
"Det var ett absolut skämt och definitivt inte värt $ 300 + per biljett", sade en annan.
Lokalen ligger 12 km från Brisbane centrum och det sista tåget tillbaka till staden avgår strax efter midnatt. Hundratals fans var kvar i kö för taxi efter konserten avslutades kl 01:30.
"Att gå på så sent innebär att missa det sista tåget hem och strandsatta fram till soluppgången", skrev Louise Mac på Twitter, i ett meddelande riktat till Madonna. "Klarar du dina fans?"
"Av 2am inga tåg, inga bussar, mycket få taxi eller Uber. Utan din egen bil skulle du bli strandsatt!" tillade Alison Hale.
Nathanael Cooper, som gick igenom showen för Brisbane Times, siktade på popstjärnan.
"Det är något hisnande arrogant att en konstnär tar till scenen sent", skrev han. "Det var tröttsamt, irriterande och innebar att en show som kunde ha gjorts vid 23:00 slutade bra efter 01:00."
Australiens Associated Press rapporterade att den "tilltagande frustrerade" skaran hade "sorterat till mexikanska vågor och sångande" men "äter från handflatan av [Madonnas] hand från det ögonblick hon dök upp på scenen i en metallbur."
Arrangör Live Nation sade stjärnan ursprungligen skulle på scenen vid 21:00, men det hade varnat fans av en möjlig sen avslutning.
Den varnade också i ett uttalande att Madonnas andra Brisbane-show, på torsdag, också kunde påverkas.
"Efter en sen start igår kväll, fans bör notera, tidpunkten för kvällens föreställning kan också försenas. Vi uppmuntrar konsertbesökare att ta hänsyn till detta när de gör arrangemang för att komma hem säkert."
Det är inte första gången Madonna dyker upp sent på sin nuvarande Rebel Heart-turné.
Efter en försening fick hennes show att köras över på Glasgows SSE Hydro Arena i december förra året stängde platsen kraften, vilket fick sångaren att utföra slutet av sitt set utan ljud eller belysning.
Och en spin-off show, kallad Tårar av en Clown, började tre timmar sent i Melbourne förra veckan.
Under showen verkade hon torka bort tårar när hon diskuterade vårdnadskampen om sin 15-årige son Rocco.
Tonåringen lämnade sin världsturné förra året och flyttade in hos sin far, Guy Ritchie, i London. Madonna säger att pojken har blivit "olagligt häktad" och tagit fallet till Londons högsta domstol.
Stjärnans sista shower i Australien är lördag och söndag på Sydneys Allphones Arena. Båda föreställningarna filmas för en turné-DVD.
Pop stjärnan Madonna har märkts "varsamt arrogant" efter att ha kommit på scenen över två timmar sent i Brisbane, Australien.