David Warner och Steve Smith båda slog århundraden när Australien nådde 371-6 i deras 50 overs på Kingsmead.
Men en obruten sjunde-wicket stand av 107 av David Miller (118 inte ut) och Andile Phehlukwayo (42 inte ut) såg Proteas hem med fyra bollar till reserv.
Sydafrika har nu en oantastlig 3-0 ledning i femmatchsserien.
Deras 372-6 överskuggade Indiens poäng på 362-1 - även mot Australien - 2013.
Den största framgångsrika internationella löpjakten gjordes också av Sydafrika, som slog 438-9 - mot Australien - i Johannesburg 2006.
Åtta av de 10 bästa framgångsrika ODI kör jakter har nu uppnåtts mot Australien.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Sydafrika slutförde den näst högsta körningen i en dag internationell historia när de slog Australien med fyra wickets i Durban.