Han sade att de borde följa exemplet London Challenge, den nu avbrutna arbetsmarknadspolitiken som förbättrade Londonskolorna, och få enastående skolor och ledare som arbetar mycket nära de mindre framgångsrika.
Under årtionden hade Londons högstadieskolor några av de sämsta examensresultaten i landet.
Sir Michael var lärare i huvudstaden under 1970-90-talet. Han berättade för BBC Newsnight att om någon hade sagt till honom då att London skulle göra mycket bättre än resten av England, han skulle inte ha trott det.
Han sade att förbättringen var ner till London Challenge - det fanns den "politiska viljan" att göra skolorna bättre, tillägger att London Challenge förbigick lokala myndigheter.
Little Ilford School i Newham är en skola där resultaten har förbättrats dramatiskt under de senaste 15 åren.
1997 fick bara 16 % av eleverna fem GCSES i betygen A-C, ligabordets mått då. Förra året passerade 71% minst 5 GCSES i betygen A*-C inklusive engelska och matematik.
Mer än hälften av skolans elever är berättigade till gratis skolmåltider och 88 % talar engelska som ytterligare språk.
Enligt den tillförordnade rektorn, Katy Episcopo, beror denna förändring på förbättrad undervisning och vissa specifika initiativ.
De har Studie Plus-kurser, som hjälper elever som ligger efter i läsning och skrivande, och det har haft en betydande inverkan. De har ett nära samarbete med elevernas föräldrar. De bygger upp självförtroende och de stöder strävan.
Även om finansieringen av London Challenge minskades för två år sedan, har resultaten fortsatt att öka. Det verkar som om förbättringen har utvecklat sin egen drivkraft.
Det är inte bara fler elever som passerar GCSE, utan fler uppnår också högre betyg. Temoore Zulfiqar, som är 16 år, har redan tagit tre GCSE, i matematik och vetenskap. Han fick två A* betyg och ett A.
Han vill åka till Oxford eller Cambridge och tack vare sin skola har han redan besökt båda flera gånger.
Eleverna på Little Ilford ser ingen bar för sina ambitioner. Tanvir, som är 15 år, berättade att han ville bli Storbritanniens första muslimska premiärminister.
Eftersom London snabbt har förbättrats, har vissa andra myndigheter inte hållit jämna steg. Barnsley i South Yorkshire har några av de värsta GCSE resultaten i England.
Simon Barber, rektor för den helt nya heliga treenighetsskolan, är fast besluten att förbättra standarden. Trots att nästan alla hans elever talar engelska som förstaspråk, och bara 16 % var berättigade till gratis skolmåltider förra året, fick 53 % av eleverna fem GCSES i betygen A* till C, inklusive engelska och matematik, förra året.
Han sa att han ville lära sig av andra skolor, särskilt de i London. Han tog en grupp barn till Newham förra sommaren, för att se Londons sevärdheter och för att besöka en annan skola.
Några av eleverna som hade gått på besöket berättade att atmosfären var annorlunda på Newham skolan - barnen var mer fokuserade på att lära.
"Om du inte tittar ut genom fönstret, du skulle aldrig veta att det var ett tufft område," en ung tonåring berättade för mig. "Barnen såg så smarta och redo ut att lära sig."
Mr Barber sa att det var svårt att övervinna Barnsleys industriella förflutna. Staden var ett gruvsamhälle, men nu är arbetslösheten hög, och han sa att det var svårt att höja ambitionen.
Sir Michael Wilshaw berättade för BBC Newsnight att jämföra Barnsley och Newham visar att "barn är barn, är barn - vad som gör skillnaden är skolans kultur".
Ofsted riktar nu sin uppmärksamhet mot lokala myndigheter. Om de misslyckas, skulle deras roll kunna övertas av ett annat organ, eventuellt en annan lokal myndighet, eller en akademikedja.
Sir Michael Wilshaw, Chief Inspector of Schools in England och chef för utbildning watchdog Ofsted, har berättat för BBC Newsnight att skolor och lokala myndigheter upp och ner i landet bör lära sig från London och "dra en linje" nedan underprestation.