Kommissionsledamöterna vid byrån röstade två mot en för att avsluta en "nettoneutralitet" som antogs 2015.
Ajit Pai, chef för FCC, sade de regler som kräver ett öppet internet skadade jobb och avskräckte investeringar.
Många amerikaner och teknikföretag gjorde invändningar mot FCC:s förslag före omröstningen.
"Detta är rätt väg att gå", sade Pai före omröstningen på torsdag.
I ett uttalande sade FCC att man förväntade sig sina föreslagna ändringar för att "substantiellt gynna konsumenterna och marknaden". Det tillade att de, innan reglerna ändrades 2015, bidrog till att bevara ett "flourishing fritt och öppet internet i nästan 20 år".
FCC:s kommissionsledamöters omröstning är det första steget i arbetet med att avveckla bestämmelserna om nätneutralitet.
Byrån uppmanar nu allmänheten att kommentera huruvida den verkligen bör avveckla reglerna. Amerikanerna har fram till mitten av augusti på sig att dela med sig av sina åsikter till FCC.
Denna uppmaning att lämna synpunkter kommer sannolikt att locka till sig ett stort antal svar. Före omröstningen inlämnades mer än 1 miljon uttalanden till stöd för nätneutralitet på FCC:s webbplats.
Många svarade på ett samtal från komikern och kommentatorn John Oliver för att göra sina känslor kända.
Separat, vissa demonstranter använde också programvara bots för att upprepade gånger arkivera uttalanden på webbplatsen.
Många fruktar att när reglerna för lika tillgång går, Internetleverantörer kommer att börja blockera och strypa vissa uppgifter medan andra paket reser på "snabba filer" eftersom företag har betalat mer för att nå kunderna snabbare.
Amerikanska Internetleverantörer som Comcast, Charter Communications och Altice NV har i offentliga uttalanden lovat att hålla data flödande fritt.
Trots detta offentliga löfte motsatte sig Comcast, tillsammans med Verizon och AT&T, den ursprungliga 2015 års regeländringen och sade att den dämpade deras entusiasm för att förbättra USA:s bredband.
Facebook, och Googles moderbolag Alphabet liksom många andra nettoföretag har backat upp de öppna nätreglerna som säger att lika tillgång var viktigt för alla.
Den amerikanska federala kommunikationskommissionen har röstat för att upphäva regler som tvingar Internetleverantörer att behandla all datatrafik lika.