Tusentals fans firade på planen på heltid efter Seagulls slå Wigan.
Promotionen kom 34 år efter klubben nådde FA Cup finalen men förvisades.
Klubbens verkställande direktör Paul Barber sa att en 25 000-stark publik stannade på arenan efter matchen på söndag.
Virgo sade scenerna av eufori på Amex stadion följde hjärtesorg och "mörka, mörka tider" sedan 1983.
Från katastrofens rand till Premier League
"Ingenting kommer någonsin att toppa denna framgång i historien om fotbollsklubben", sade han.
"De går inte bara in i en stor liga, de går in i en global liga och klubben nu kommer att ses över hela världen."
Championship ledare främjas till Premier League
Barber sade: "Vi stannade i marken ganska länge eftersom vi hade omkring 25 000 personer som vi var tvungna att ta hand om.
"Vi kan aldrig uppmuntra människor att gå på planen, men vi visste att de skulle och vi visste att folk hade väntat en mycket, mycket lång tid för detta ögonblick och vi skulle verkligen inte förstöra det."
Han beskrev scenerna som "otroliga", tillade han: "De kommer att hålla i människors minnen under en livstid."
Att sätta ut klubbens planer innan nästa säsong, sade han chefer måste titta på spelarnas kontrakt och stadion behövde infrastruktur förbättringar på upp till 5m, inklusive strålkastare, media faciliteter och förbättringar av spelarnas område.
"Vi kommer att ha några av de största klubbarna i världen besöker staden och utan tvekan kommer alla att få ett stort antal fans också - så detta är en speciell tid, inte bara för fotbollsklubben utan för hela staden."
Klubben spelade senast i den gamla första divisionen 1983 - de nådde FA Cup-finalen det året men blev förvisade.
År 1997 var klubben tvungen att sälja Goldstone Mark för att betala av en del av sina skulder.
Den tillbringade två säsonger 70 km bort på Gillinghams Priestfield Stadium.
Klubben flyttade sedan in i Withdean Stadium 1999 - en rådsägd atletisk bana på förorterna i Brighton.
Ordförande Tony Blooms ankomst för åtta år sedan banade väg för deras nya permanenta hem på Amex stadion och den framgång som följde.
DJ och Albion fan Norman Cook, mer känd som Fatboy Slim, som bor i Hove, sade att han skulle njuta av ögonblicket "från nu till mitten av augusti".
"Jag ska göra det mesta av det och njuta av det eftersom verkligheten kommer att sparka in.
"I mitten av augusti kunde vi bli klistrade, men det kommer att vara en del av en inlärningskurva", sade han.
Livslångt albionfan Attila the Stockbroker - alias John Baine - sade: " Det är en otrolig resa. För 20 år sen, längst ner i ligan utan grund. Nu ska vi in i Premier League."
Ingram Losner, som har stöttat Brighton sedan han var barn och reste från USA för att titta på matchen, sade: "Luften höll bara på att byggas upp under hela dagen, och själva spelet och firandet efter var bara ingenting som jag någonsin upplevt."
På Twitter twittrade Brighton-fullmäktiges ledare Warren Morgan klubbens ordförande Tony Bloom.
Hove MP Peter Kyle skrev att han "söndrade med stolthet".
Ingenting kommer någonsin att topp Brighton och Hove Albions befordran till Premier League, klubbens tidigare försvarare Adam Virgo har sagt.