Den kommer att överväga att polisstyrkorna i England och Wales utplacerar poliser under täckmantel.
Det kommer efter kontroverser kring undercoversofficerarnas uppförande.
Samtidigt, en separat granskning av förhållandet mellan Home Office och SDS säger att en nyckelfil saknas.
Utredningen som aviserades på torsdag kommer också att ge rekommendationer om hur under täckmantel polisarbete genomförs och kommer att granska användningen av under täckmantel officerare av den nu defungerade SDS och National Public Order Intelligence Unit.
Bland anklagelserna är att under täckmantel poliser tog falska identiteter från döda barn, hade relationer med kampanjare och fäder barn.
May sade att advokaten Mark Ellisons och operation Hernes arbete - en utredning av polisen under täckmantel vid Metropolitan Police - har avslöjat "allvarliga historiska brister" i polisens verksamhet under täckmantel.
Ellison - som 2012 framgångsrikt åtalade Gary Dobson och David Norris för mordet på tonåringen Stephen Lawrence - har undersökt polisens korruption under den ursprungliga utredningen av mordet 1993.
Hon tillade: " Som jag sade förra året blev jag djupt chockad över Mark Ellisons upptäckter och åtog mig att upprätta en offentlig undersökning för att grundligt undersöka under täckmantel polisen och driften av SDS.
"Även om jag inledningsvis sade att Mark Ellisons fortsatta arbete och brottsutredningar behövde slutföras innan utredningen inleddes, har det blivit uppenbart att dessa arbeten var mycket större än vad som ursprungligen planerades.
"För att lära mig läxan av tidigare misslyckanden har jag beslutat att upprätta undersökningen nu samtidigt som jag ser till att det befintliga arbetet inte påverkas.
"Undertäckt polisverksamhet är en viktig taktik i kampen mot brottslighet, men för att förbättra allmänhetens förtroende för under täckmanteln måste vi se till att dessa brister inte upprepas i framtiden."
Den senaste utredningen kommer att ledas av domare Lord Justice Pitchford.
May hade meddelat att hon hade för avsikt att inleda en offentlig utredning som leddes av en domare efter rapporten från den oberoende Ellisonutredningen i mars förra året.
Det hade hittat Scotland Yard spionerade på Stephen Lawrences familj.
Operation Herne upptäckte att SDS hade utfört hemliga operationer för att samla information om 18 rättskampanjer under 35 år.
Detta inbegrep kampanjen om Jean Charles de Menezes, som sköts av polisen efter att ha misstog sig för en terrorist dagarna efter bombningarna i London under jord 2005.
SDS inrättades 1968 för att infiltrera tryckgrupper och fortsatte att fungera fram till 2008.
Det har varit fokus för kontroverser om påståenden att vissa under täckmantel officerare hade sexuella relationer och fäder barn med kampanjare, för att bidra till att bygga förtroende för deras falska identiteter.
Polischefen Mick Creedon vid föreningen för polischefer sade: "Undercover polisarbete är en viktig polistaktik har räddat liv, skyddat offer och fört farliga brottslingar inför rätta."
Han sade också att den offentliga utredningen skulle bidra till att se till att det "oacceptabla beteendet hos vissa officerare i det förflutna aldrig händer igen".
"Ändringar har redan gjorts i fråga om godkännande och förvaltning av dessa verksamheter.
"Ny utbildning och vägledning för underofficerares vägledning som utvecklats tillsammans med polisakademin stärker behovet av att de uppfyller de högsta etiska normerna."
Anklagelserna om SDS inkluderar att dess officerare arbetade för att upptäcka information om Lawrence familjen, som kunde användas för att smutskasta dem efter Stephen Lawrence död.
Hans far, Neville, sa att han skulle vilja vara fullt involverad i utredningen.
Han tillade: "Jag har alltid känt att min familj var under större utredning än de skyldiga till att döda min älskade Stephen och så det är bara naturligt att vilja upptäcka vad som verkligen pågår."
Jules Carey, av Bindmans advokater, som representerar kvinnan känd som "Jacqui" som hade ett barn med en undercover officer, sade: "För att utredningen ska uppfylla sitt syfte att återställa allmänhetens förtroende kommer det att vara viktigt att se till att det finns ordentliga samråd med alla berörda parter i utformningen av mandat för undersökningen."
Hon sade också att utredningen måste "genomföras på ett öppet sätt som gör det möjligt för de som påverkas av spionage att ifrågasätta de under täckmantel officerarna och de som ansvarar för deras utplacering".
Under tiden har May också offentliggjort en oberoende översyn av inrikesministeriets kunskaper om SDS-verksamhet, som beställdes i mars förra året och genomfördes av Stephen Taylor, tidigare direktör vid revisionskommittén.
Taylor sade att det inte var möjligt att säga om en saknad fil om SDS, som skulle ha inkluderat dokument som klassificerats som "hemliga" och "topphemliga", berodde på "mänskliga fel eller avsiktliga undanflykter".
Taylor sade också att "med tanke på frånvaron av dokument och tidens gång" kunde han inte utesluta möjligheten att "en person eller en person inom inrikesministeriet" kan ha varit medveten om:
En utredning om polisens under täckmantel och driften av Metropolitanpolisens specialdemonstrationsgrupp håller på att etableras av inrikesministern Theresa May.