Men om besökare från EU-länder ville arbeta, studera eller bosätta sig i Storbritannien skulle de behöva ansöka om tillstånd enligt förslagen.
EU-medborgarna är för närvarande fria att bo och arbeta i Storbritannien utan tillstånd.
Inrikesdepartementet säger att hanteringen av migration handlar om tillgång till arbete och fördelar lika mycket som förmågan att kontrollera inresa vid en fysisk gräns.
Men ministrarna kommer sannolikt att ställas inför frågor om huruvida det kommer att finnas en "bakdörr" till Storbritannien och hur inrikesministeriet skulle stoppa besökare som stannar längre och får jobb utan visum eller arbetstillstånd.
Arbetsmarknadsledamot Ben Bradshaw, medlem i Open Britain-kampanjen mot en "hård Brexit", sade: "Ingen som röstade för att lämna Europeiska unionen förväntade sig att Brexit skulle innebära att Storbritannien förlorade kontrollen över invandringen, men det är precis vad regeringen föreslår.
"Att begränsa rätten att komma och arbeta i Storbritannien medan man lämnar en öppen dörr för alla andra verkar vara motsatsen till ett sunt förnuft invandringssystem.
"Det kommer inte att begränsa någon som kommer hit från Europa som inte har för avsikt att arbeta och som kan driva in andra EU-medborgare i den svarta ekonomin."
Han sade att det föreslagna nya systemet " erbjuder liten kontroll samtidigt som de brittiska företagen belastas med ännu mer byråkrati" och att regeringen i stället borde "lägga tillbaka medlemskapet på den inre marknaden".
Påtryckningsgruppen Migration Watch sade att det var ett "känsligt, proportionerligt" förslag, men regeringen skulle behöva spendera mer pengar på att övervaka invandringen för att ta itu med personer som stannar för länge.
Inrikesministeriet sade: "Förslag till det framtida invandringssystemet för EU-medborgare kommer att offentliggöras i sinom tid."
Premiärminister Theresa May sade att den fria rörligheten "som vi har sett som medlemmar av Europeiska unionen" kommer att upphöra och att det kommer att finnas invandringsregler "för människor som kommer från EU - eftersom vi i dag har regler för människor som kommer från länder utanför EU".
Storbritannien beviljar redan viseringsfria resor till medborgare från 56 länder - från Förenta staterna till Maldiverna.
Pass är stämplade vid inträdet, och människor får stanna i högst sex månader.
Men de får inte arbeta, studera eller bosätta sig. Det är knappast förvånande att ett liknande system övervägs för medborgare från EU-länder efter Brexit - inte minst eftersom framtida arrangemang sannolikt kommer att vara ömsesidiga.
Med andra ord, om EU-medborgarna behövde visum för att komma till Storbritannien i framtiden, skulle de brittiska medborgarna behöva visum för att resa till EU.
Det kan alltså vara så att regeringens invandringsplaner kommer att vara att lägga till flera hundra miljoner européer till ett system som redan finns.
Och den största bördan för att övervaka den, och kontrollera om människor är här på ett legitimt sätt, skulle inte falla på en förstärkt gränsbevakning eller invandringstjänst.
I stället skulle det ligga hos arbetsgivarna - alla från NHS till ett litet kafé på gatan - samt hos hyresvärdar, banker och lokala myndigheter.
Enligt The Times kommer det nya systemet för EU-besökare att fasas in efter det att Storbritannien officiellt lämnar EU i mars 2019, och de som kommer att arbeta i Storbritannien måste först registrera sig hos inrikesministeriet utan arbetsrestriktioner.
Det skulle vara upp till EU att besluta om erbjudandet om viseringsfria resor - om det formellt föreslås av Brexit-förhandlingsgruppen i Förenade kungariket - skulle återgäldas.
EU arbetar med ett system för resetillstånd för besökare till EU, liknande det amerikanska ESTA-systemet för viseringsundantag. Källor i Bryssel sade att det skulle vara en fråga för förhandlingarna om huruvida brittiska resenärer kommer att behöva ansöka om det efter Brexit.
Före detta UKIP-ledaren Nigel Farage har anklagat regeringen för att ge efter för EU:s krav.
Men Brexit-backing konservativ MP Andrew Bridgen sade: "Jag tror inte någon någonsin tänkt att vi skulle bara dra ner fönsterluckorna och bli en Little England.
"Samma restriktioner kommer att gälla för brittiska medborgare som vill besöka kontinenten.
"Jag menar, trodde du verkligen att vi skulle ha ett visumsystem bara för att åka en helg till Paris?"
Lord Green of Deddington, ordförande för Migration Watch UK, sade: " Poängen är att ett system med arbetstillstånd för EU:s arbetstagare i sinom tid skulle leda till en massiv minskning av nettoinvandringen från EU när lågavlönade arbetstagare pressas ut.
"Minskningen kan, enligt vår beräkning, bli omkring 100.000 per år."
Han sade att verkställighet kunde göras genom arbetsgivare, men regeringen skulle behöva spendera mer pengar på en "knockdown" på olaglig invandring, något han sade var "allt mer nödvändigt" i alla fall.
Migration Watch säger att 80 % av EU:s migrerande arbetstagare för närvarande är "lågavlönade", även om deras definition är människor som inte skulle kvalificera sig för en nivå 2 visum utanför EU, som har ett minimikrav på 35.000 pund.
Regeringen säger att den vill gå vidare till förhandlingar med EU om den framtida tillämpningen av gränskontrollerna så snabbt som möjligt.
I onsdags sade regeringen att det inte skulle finnas någon hård gräns mellan Nordirland och Irland efter Brexit.
I ett dokument med en redogörelse för förslagen betonades att det inte får finnas någon fysisk infrastruktur - som tullstationer - vid gränsen, som har nästan 300 gränsövergångsställen.
Kritiker sade att förslagen saknade trovärdiga detaljer, eftersom Labour föraktade planerna för gränsen som en "fantasy gräns".
Regeringen planerar att hålla visumfria resor till Storbritannien för EU-besökare efter Brexit, BBC förstår.