Det finns oro över antalet dödsfall på sjukhuset, som står i centrum för en lång dispyt om framtiden för barnens hjärttjänster.
Den medicinska chefen för NHS, Bruce Keogh, sade att det var "ett mycket ansvarsfullt försiktighetssteg".
Men en del människor har ifrågasatt beslutet och dess timing, 24 timmar efter det att ett domslut från High Court höll operation där.
Leeds General Infirmary hade öronmärkts för stängning av NHS översyn för att koncentrera barn hjärtkirurgi i färre större center.
Men det beslutet upphävdes av en domare i Högsta domstolen på onsdag.
Stuart Andrew, konservativ parlamentsledamot för Pudsey, som har lett en partiöverskridande kampanj för att hålla enheten öppen, sade att det var ett "mycket märkligt" beslut som kommer efter jubileet som välkomnade domstolsutslaget.
"Vi har alltid frågat dem om det är säkert på Leeds?" och svaret kom alltid tillbaka "ja det är det".
"Vad är informationen som säger att det har förändrats?"
Medfödda hjärtfel förklarade
Han tillade att han inte hade fått något klagomål om vård.
Barn som skulle ha behandlats i Leeds kommer att skickas till andra sjukhus runt om i England.
Berörda familjer kontaktas direkt av förtroende och översynen förväntas ta tre veckor.
Anne Keatley-Clarke, chef för Barnens Hjärtförbund, en paraplygrupp för olika frivilligorganisationer, sade att hon hade väckt oro för operationsresultat för två år sedan, och mer nyligen föräldrar hade rapporterat svårigheter att få remisser på Leeds till andra hjärtenheter.
I ett uttalande på förbundets webbplats sade hon: "Min oro är att chefer och kliniker i Leeds, tillsammans med stödgruppen för föräldrar, har satt sina egna intressen före välbefinnandet hos kritiskt sjuka barn och deras mycket utsatta föräldrar."
Sir Bruce och högre chefer från Care Quality Commission besökte sjukhuset på torsdag för att säga att det måste stoppa alla barns hjärtkirurgi där omedelbart.
I ett uttalande sade sir Bruce: " Tilliten har tagit ett mycket ansvarsfullt försiktighetssteg.
"Vissa frågor har ställts av trustens egna dödlighetsdata och av annan information.
"Det är viktigt att förstå att även om denna information väcker frågor, ger den oss inte svar."
Chefen för Leeds Teaching Hospitals NHS Trust sade att externa experter skulle utarbetas för att hjälpa till att granska "alla aspekter" av vård.
Maggie Boyle bad om ursäkt till drabbade föräldrar och familjer men försäkrade dem att patienternas säkerhet alltid var viktigast.
CQC sade att det stödde förtroendets beslut och det var i nära kontakt med förtroende för att säkerställa effektiva arrangemang var på plats för att skydda säkerheten och välfärden för patienterna.
Sharon Cheng, från Rädda vår kirurgi - gruppen som samordnar kampen för att hålla barns hjärtkirurgi i Leeds - sade: "Vi är förbryllade.
"Vi vet inget som kan rättfärdiga det här steget."
Tidigare, en NHS översyn sade kirurgi bör sluta på sjukhus i Leeds, Leicester och London för att fokusera vård på färre, större platser, där medicinsk expertis kan koncentreras.
Mer än 600 000 personer undertecknade en petition mot nedläggningsplanerna. Många människor var olyckliga över att barn från Leeds fick resa upp till 150 kilometer för att få vård.
Ledaren för Leeds stadsfullmäktige, fullmäktigeledamot Keith Wakefield, sa att han var "chockad vid tidpunkten för dagens händelser".
Barns medfödda hjärtkirurgi vid Leeds General Inservary har avbrutits när en översyn genomförs.