Från och med september kommer NHS-personal och rådsanställda att vara bland dem som måste ha språkkunskaper som motsvarar GCSE-grad C eller högre.
Chefer kommer att behöva testa anställda kan "kommunicera effektivt med allmänheten".
Minister Matt Hancock sa att det var för att kontrollera invandringen.
De nya reglerna, som kommer att utgöra en del av regeringens invandringsproposition, kommer att innebära att alla arbetstagare inom den offentliga sektorn i en "kundvänlig" roll måste kunna tala åtminstone engelska nivåer av elever som lämnar skolan.
Det kommer att omfatta poliser, socialarbetare, lärarpersonal, assistenter och rådsanställda.
Regeringen vill att politiken ska spridas över England, Skottland och Wales och sade att den skulle samarbeta med de skotska och walesiska regeringarna om detaljerna i planerna.
Varje organisation måste bestämma hur man testar sin personal utifrån riktlinjer i en uppförandekod, som regeringen kommer att ta fram efter ett samråd med början i höst.
Befintliga anställda som inte är tillräckligt flytande kan få tid att förbättra sig.
Läkare som arbetar i Storbritannien är redan skyldiga att ha en mycket högre nivå av engelska och testas av General Medical Council.
Risken för att en hälso- och sjukvårdspersonal inte är flytande belystes av ett misstag som gjordes av dr Daniel Ubani, en tysk läkare som gav patienten David Gray en dödlig dos av ett smärtstillande medel 2008.
Som EU-medborgare kunde han då registrera sig för att arbeta i Storbritannien utan att klara ett språktest, men reglerna ändrades i juni förra året.
Hancock sade: "Vi kontrollerar invandringen till förmån för alla hårt arbetande människor.
"Vi har redan infört tuffa nya språkkrav för invandrare, nu kommer vi att införa ny lagstiftning i den kommande invandringspropositionen för att uppfylla premiärministerns åtagande att gå längre."
Människor som inte talar flytande engelska kommer att utestängas från arbeten inom den offentliga sektorn som innebär att de arbetar direkt med allmänheten, har regeringen sagt.