En kvinna dog och 19 personer skadades när en bil rammade en skara människor som motsatte sig ett rally där.
FBI har inlett en utredning om incidenten.
Tidigare bröt gatuslagsmål ut mellan vita nationalister och motprotestare.
Justitieministern Jeff Sessions sade: " Våldet och dödsfallen i Charlottesville slår i hjärtat av amerikansk lag och rättvisa.
"När sådana handlingar uppstår på grund av raslig trångsynthet och hat förråder de våra kärnvärden och kan inte tolereras."
Tjugoåriga James Fields från Ohio, den påstådda bilföraren, är häktad misstänkt för mord av andra graden.
Förutom de skadade i bilolyckan sa Charlottesvillepolisen att 15 skadades i annat våld i samband med högermarschen.
Sent på eftermiddagen kraschade en Virginia State Police helikopter i skogen sydväst om staden och dödade två människor. Det har dock inte funnits några tecken på att detta var kopplat till våldet.
Den "Unite the Right" marschen kallades att protestera mot planerna på att ta bort en staty av general Robert E Lee, som hade kämpat för den förslavande konfederationen under det amerikanska inbördeskriget.
McAuliffe sade till en presskonferens: " Jag har ett budskap till alla de vita supremacisterna och nazisterna som kom till Charlottesville i dag. Vårt budskap är enkelt och enkelt: Gå hem. Du är inte efterlyst i denna stora gemensamma rikedom. Skäms på dig. Ni låtsas vara patrioter, men ni är allt annat än patrioter.
"Du kom hit idag för att skada folk. Och du skadade folk. Men mitt budskap är tydligt: "Vi är starkare än ni."
Guvernören, som är demokrat, sade att han hade talat med president Trump, och två gånger uppmanade honom att inleda en rörelse för att föra människor samman.
Han tackade polisen och polisen, som han sade hade förhindrat "en mycket värre dag", och berömde räddningstjänsten som hjälpte de sårade.
Våldet i Charlottesville - en liberal collegestad - är en stark demonstration av den växande politiska klyftan i USA, som har intensifierats sedan president Trumps val förra året.
Höger bloggare Jason Kessler hade krävt en "pro-vit" rally, och vita nationalister främjade samlingen brett.
Oren Segal, chef för Anti-Defamation League's Center on Extremism, sade att flera "vit makt" grupper var närvarande - inklusive nynazister och fraktioner av Ku Klux Klan.
New York Times rapporterar att vissa skanderade "Du kommer inte att ersätta oss" och "Jude kommer inte att ersätta oss."
Antirasistiska organisationer som Black Lives Matter protesterade på scenen.
På fredag höll de vita nationalisterna tända facklor och sjöng "Vita liv spelar roll" när de marscherade genom University of Virginia i staden.
President Donald Trump fördömde "i starkaste möjliga termer denna eggande uppvisning av hat, trångsynthet och våld på många sidor".
"Hatet och divisionen måste sluta just nu," sa han till reportrar, talar i New Jersey, där han är på en arbetssemester. "Vi måste träffas som amerikaner med kärlek till vår nation."
Både demokrater och republikaner ifrågasatte hans ordval och noterade att han inte hänvisade till de vita nationalisternas centrala roll.
Republikanska senator Cory Gardner twittrade: " Herr president - vi måste kalla ondskan vid dess namn. Dessa var vita supremacister och detta var inhemsk terrorism."
Senator Orrin Hatch av Utah, även republikan, kände likadant.
Slut på Twitter inlägg av @senorrinhatch
"Det vi har sett idag i Charlottesville måste fördömas och kallas vad det är: hat, ondska, rasism och hemväxt extremism", twittrade demokraterna John Kerry, som tjänstgjorde som USA:s utrikesminister under Barack Obama.
En bild twittrad av författaren J K Rowling visade en man på gatan som bar en hakkorsflagga.
I Charlottesville sa stadsborgmästaren Michael Signer att staden skulle slå tillbaka. "Vi har övervunnit McCarthyismen, vi har övervunnit segregationen och vi ska övervinna det här."
Han sa att de som förde brinnande facklor till Virginias gräsmattor "tillhör historiens sophög".
Virginias guvernör, Terry McAuliffe, har sagt att hans enda budskap till de vita supremacisterna som förde kaos till Charlottesville är "Gå hem".