I september 1978 annonserte Bergen at han ville trekke seg tilbake etter 48 år i show business, og sende sin bebrillede partner med topphatt til Smithsonian Institution. Han startet sin pensjonisttilværelse i Caesar's Palace Hotel Las Vegas den 27. september, med et to ukers farewellparty til showbusiness. Han døde tre dager senere, den 30. september 1978 av nyresykdom 75 år gammel.