Den 27-årige kenyanen slog i fronten med ca 300m att gå efter landsman Alfred Kipketer spretade klart på första varvet av loppet.
Rudisa slutade om en minut 42.15 sekunder, framför Algeriets Taoufi Makhloufi och snabbfinishing American Clayton Murphy.
"Jag är så exalterad", sa Rudisha. "Det är det största ögonblicket i min karriär."
Makhloufi körde ett nytt nationellt rekord på en minut 42,61 sekunder och Murphy tittade på ett personligt bäst av en minut 42,93 sekunder i en bisarr tävling.
Kipketer gav sig av snabbt och gick igenom de första 200 meterna på bara 23 sekunder.
Men 19-åringen, som hade slagit Rudisa i de kenyanska nationella rättegångarna, bleknade till sjunde i Rio.
"Kör 1:42, det är bara fantastiskt", tillade Rudisa. "Jag hade inga tvivel förut. Känslan i min kropp var bra. Det är bra att vinna en så stor tävling."
BBC Sports chefsidrottsförfattare Tom Fordyce i Rio:
"Han är den största 800m löpare genom tiderna och han kan också vara den trevligaste mannen i sin sport. Rudisa kanske inte är på samma heliga nivå som den oförglömliga natten i London, men han förblir både en glädje att titta på och en ostoppbar kraft.
"Efter de skador han lidit efter 2012 - saknade världarna 2013, kräver en allvarlig knäoperation mindre än två år sedan - denna seger var aldrig förutbestämt. Han får det bara att se ut så där."
David Rudisa blev den första idrottaren sedan Nya Zeelands Peter Snell 1964 att behålla männens 800m olympiska titel.