Beavon kraschade hem strax före halvtimmen för att tillfoga Swindon ett andra på varandra följande nederlag, efter deras förlust i Barnsley förra helgen.
Den strejkande straffade tvekan bland Swindon försvaret med en klinisk volley, Brewers första någonsin mål på County Ground.
Wes Thomas släpade långt inifrån straffområdet för hemmasidan.
Jon Obika och Louis Thompson missade också målet medan Yaser Kasim hade en frikick knuffas över av Jon McLaughlin som Burton höll ut för segern.
Burton Albion boss Jimmy Floyd Hasselbaink berättade för BBC Radio Derby:
Mediauppspelning stöds inte på den här enheten
"Jag är väldigt lycklig. Jag tror att när du kommer till Swindon, vet du vad de handlar om. De kan hålla bollen för kul och de kan testa dina nerver och få överbelastning i vissa områden, men vi gjorde det mycket obekvämt för dem. Vi lät dem inte komma in i deras steg, vi lät dem inte spela deras spel och komma in i deras rytm.
"För oss handlade det om att vinna bollen tillbaka i deras hälft och försöka penetrera i den sista tredjedelen och jag tycker att vi gjorde det riktigt bra.
"Vi borde ha gjort fler mål och det är något vi måste jobba på, men jag måste säga att jag är oerhört nöjd med hur laget har fungerat idag. Vi var mycket solida och vi var ganska kreativa med bollen ibland, men tron måste bli större eftersom de kan göra mycket mer än de tror."
Stuart Beavons första halvstrejk flyttade Burton till toppen av League One med deras första seger någonsin på Swindon.