Tyska Kerber, 29, hävdade Grand Slam titlar i Melbourne och US Open förra året, men förlorade 6-2 6-3.
Amerikanska Vandeweghe, 25, står inför ett sista-åtta möte med Spaniens franska Open mästare Garbine Muguruza, som slog rumänska Sorana Cirstea 6-2 6-3.
Venus Williams gjorde också framsteg och slog Mona Barthel i Tyskland.
Den 36-åriga sju-tiden Grand Slam mästare - den äldsta spelaren i kvinnors singlar - vann 6-3 7-5 och kommer att ta på Anastasia Pavlyuchenkova, som slog andra ryska Svetlana Kuznetsova 6-3 6-3.
Vandeweghes seger var hennes första mot en värld nummer ett och tar henne till en Grand Slam kvartsfinal för andra gången i hennes karriär, efter att ha nått de sista åtta på Wimbledon 2015.
Det betydde det bästa fröet från kvinnors och mäns dragningar båda lämnade tävlingen på dag sju, efter Andy Murrays chock nederlag av Tysklands världsnummer 50 Mischa Zverev.
Vandeweghe hade Kerber på defensiven för mycket av deras 68-minuters tävling, stänga ut den första uppsättningen med lätthet efter att bryta i den sjätte matchen.
Och även om Kerber kunde bryta omedelbart i den andra uppsättningen, Vandeweghe vann fyra på varandra följande matcher från 3-2 ner för den största vinsten i hennes karriär.
"Det var verkligen speciellt", sa hon. "Att vara världens främsta på vilken scen som helst och vilken plats som helst är stor. Jag tar den här.
"Jag kände mig inte säker, jag fejkade det. Jag var nervös, men jag hade en spelplan för att utföra och jag visste att så länge jag fortsatte att plocka mina fläckar, Jag hade en chans."
Det är 19 år sedan Venus Williams nådde sin första australiensiska Open kvartsfinal, och 14 år sedan hennes enda final, när hon förlorade till sin syster Serena.
Under de senaste åren har hon varit tvungen att klara av den autoimmuna sjukdomen Sjögrens syndrom - men har lyckats nå åtminstone de 16 sista vid sex av de sju sista Grand Slams.
Barthel, som var 118 år i världen, hade spelat Williams två gånger tidigare men missade fyra månader tennis förra året på grund av kronisk trötthetssjukdom.
"Jag vet hur det är att vara nere på turen, men hon vet hur man spelar tennis och hon har erfarenhet," Williams sade.
"Vi hade spelat ett par tuffa matcher innan så idag förväntade jag mig att ha lite konkurrens."
Williams, som tog en timme och 36 minuter att slå Barthel, har ännu inte tappat ett set vid årets Open.
"Jag har välsignats nog att göra något som jag älskar och jag tror att detta var mitt kall eftersom jag växte så lång att jag kan täcka domstolen och slå hårt," tillade hon.
Top frö och försvara mästare Angelique Kerber drabbades av en fjärde omgången avfart från Australian Open till världsnummer 35 Coco Vandeweghe.