David Mundell hävdade att det var dags för Holyrood att "sluta sin dominans" över skotskt liv.
Och han sa att Westminster "justerade takten" i att bryta upp "centralregeringens monolit".
Den skotska regeringen sade att den hade en "dynamisk agenda för att flytta makten".
Det sades också att Mundell inte hade någon "trovärdighet" när det gällde delegering, med tanke på hans motstånd mot ändringsförslagen till lagförslaget om Skottland.
Parlamentet uppmanar även Mundell att undersöka hur Westminster hanterade lokala myndighetsärenden söder om gränsen innan han kritiserade situationen i Skottland.
Mundell talade i Glasgow dagar efter det att rådsledarna hade varnat för att den skotske finansministern John Swinneys senaste budgetplaner skulle bli "katastrofartade" för arbetstillfällen och tjänster i Skottlands lokala myndigheter.
Mr Swinney har anslagit 10,3 miljarder pund för lokala myndigheter som en del av hans utgiftsplaner för 2016, som lokala myndigheter Cosla sade uppgick till en 350 miljoner pund minskning.
Det finns nästan ett starkt styre av lokala myndigheter - när människor i opposition kräver mer decentralisering, och när de i regeringen tenderar att inte decentralisera så mycket som de hävdade att de skulle göra.
Det slår mig att på deras olika sätt, även om båda parter är i regeringen, de spelar ut den typen av linje.
Både Mundell och Swinney talar på sätt och vis om vad de har gjort som de anser passar in på lokalismens dagordning.
Så David Mundell, och faktiskt kanslern och regeringen i England, talar om delegering till lokala myndigheter.
Men man nämnde till exempel inte kravet att Manchester skulle ha en borgmästare innan det fick de samlade myndigheterna för Greater Manchester.
Detta innebär att man bortser från det demokratiska beslut som fattades av människor som bodde i och omkring Manchester när de faktiskt röstade om att ha en borgmästare för ett tag sedan.
På samma sätt talar Swinney om att ge de lokala myndigheterna befogenhet att "variera" företagens priser.  Ett mer exakt ord skulle ha gett dem förmågan att "minska".
Om du verkligen gav makt och auktoritet och ansvarsskyldighet till lokala myndigheter skulle du göra det möjligt för dem att minska och/eller öka företagens priser.
Så (båda regeringarna) tenderar att spela upp vad de gör bra och vara tyst om dessa områden där centralisering och kontroll ligger i hjärtat av vad som händer.
Den skotske sekreteraren hävdade att rådens oro för framtiden innebär att det är dags för en "ärlig och uppriktig" debatt om vägen framåt för dem.
Hans förslag skulle innebära att de lokala myndigheterna får större kontroll över områden som hälsa, transport och polis, där även städer och städer har mer att säga till om i sina egna angelägenheter.
Mundell sade: "Den ändlösa debatten om Skottlands konstitutionella plats i Förenade kungariket har dränkt debatten om hur makt och ansvar fördelas inom Skottland.
– Folkomröstningen var avgörande och en besatthet av oberoende kan inte längre vara en ursäkt för att ignorera denna fråga. Det är dags för Holyrood att skicka riktiga krafter till folket.
"Det pågår en revolution i det lokala styret i resten av Storbritannien, där lokala områden återfår makt och ansvar i en aldrig tidigare skådad takt. Skottland har inte råd att hamna på efterkälken."
Mundell betonade att han inte förespråkar en omorganisation av de lokala myndigheterna, utan snarare sätter stopp för vad han anser vara en "en-storlek-all"-strategi för råden.
Han uppmanade den skotska regeringen att "följa den brittiska regeringens ledning" när det gäller att delegera befogenheter till städer, län och städer.
Mundell sade att "Norra kraftverket bryter ny mark" och "Midlandsmotorn går allt snabbare" söder om gränsen.
Han tillade: " När det gäller den avgörande frågan om att bryta upp centralregeringens monolit är det nu Westminster som bestämmer takten och leder vägen.
"Det finns nu en verklig risk för att Glasgow, Edinburgh, Aberdeen, Dundee, och faktiskt städerna och grevskapen i Skottland som helhet, kommer att lämnas kvar - fast i en 90-talstidsförlängning av centraliserad, Holyrood-dominans."
Den skotska regeringen har sagt att det krävs en "partnerskapsstrategi" för lokala myndigheter och har ett "åtagande om subsidiaritet".
Det pekar på lagstiftning som lagen om gemenskapens inflytande och lagförslaget om markreform som ett bevis på att det ger lokalsamhällena större inflytande i deras egna angelägenheter.
Michael Swinney berättade för BBC:s program Good Morning Scotland: "Under de senaste veckorna har jag fattat ett beslut för att göra det möjligt för lokala myndigheter att förbättra sin verksamhet genom att sänka företagens priser, göra deras områden mer konkurrenskraftiga och locka fler företag till sin ort.
"Jag fattade det beslutet och genomförde det i oktober. Det beslutet kommer inte att genomföras i resten av Förenade kungariket förrän 2020.
"Så jag tror att innan Mundell börjar ge oss en föreläsning i Skottland om hur vi utövar detta ansvar, kanske hans egen regering borde få ordning på sitt eget hus."
Men David O'Neill, ordförande i rådet Cosla, sade att Skottland hade blivit "ett av de mest centraliserade länderna i Europa" under de senaste 50 åren.
Han sade att detta hade lett till "stora och dyra ojämlikheter i det skotska samhället".
Maureen O'Neill tillade: "Denna uppifrån-och-ned-strategi har haft sin tid, och det är goda nyheter att politiska partier av alla slag nu vaknar upp till behovet av en mer lokal framtid.  David Mundells kommentarer är ytterligare ett bevis på de växande kraven på förändring."
Skotska städer, städer och byar riskerar att lämnas bakom andra delar av Storbritannien om de inte får större kontroll över sina egna angelägenheter, har den skotska sekreteraren hävdat.