Sådana oanmälda inspektioner behandlade personal som "naughty children", säger Brian Lightman, chef för Association of School and College Leaders.
På måndagen sa Ofsted att det skulle bli 40 icke-varningsinspektioner den här månaden.
Dessa kommer att testa genomförbarheten av oanmälda inspektioner, föreslagna efter Trojan Horse undersökningar i Birmingham skolor.
Det fanns uppmaningar om inspektioner att äga rum utan någon förvarning efter påståenden vissa skolor i staden togs över av hårdnackade muslimska grupper,
Detta följde oron över att en del skolor kunde dölja ett oacceptabelt beteende när de visste att Ofsted-inspektörerna var på väg att ringa.
Men ledaren för huvudlärarkåren, herr Lightman, sade: "Att inte lägga märke till några rutininspektioner är onödigt och skulle vara kontraproduktivt. Det kväver kreativitet och behandlar proffs som stygga barn."
"Skolorna får för närvarande bara en halv dags varsel. Detta är den absolut minsta tid som behövs så att nyckelpersonal och guvernörer finns tillgängliga för att träffa inspektörer och personal kan samla in de fakta och siffror som inspektörerna behöver under sitt besök," sade Mr Lightman.
Han medgav att om det finns en "brådskande orsak till oro" kan oanmälda inspektioner vara lämpliga, men det bör inte bli standardförfarandet.
Den här månaden planerar Ofsted att testa idén om no-notice inspektioner, med en våg av två dagars oanmälda besök över England.
"Jag funderar för närvarande på om Ofsted bör gå vidare till mer rutin, no-notice inspektioner som en del av våra bredare utbildnings inspektion reformer, som vi kommer att samråda om senare i år," sade Sir Michael.
"Under tiden, under vår regionala struktur, är inspektörer väl placerade att använda sin lokala kunskap och kontakter för att identifiera var denna typ av problem kan ta grepp så att vi kan reagera snabbt och rapportera offentligt om vad vi hittar."
Samtidigt Ofsted undersöker hävdar att ett antal skolor i akademin truster i Norfolk fick en förvarning om inspektioner.
Utbildningsvakten avslöjade också att inspektörer har återvänt för att övervaka kontroller av fem av Birminghams skolor som placerats i särskilda åtgärder efter Trojan Horse undersökningar.
Lärarnas förbund säger att det motsätter sig att man inför ett system med rutinmässiga skolinspektioner utan anmälan.
"För att ansvarsskyldigheten ska vara meningsfull måste det finnas en ordentlig professionell och respektfull dialog", sade fackets generalsekreterare Christine Blower.
"Regeringen bör se till och lära sig av de lätta ansvarssystemen i högpresterande länder som Finland och Nya Zeeland, som bygger på att skolor och lärare litar på att deras elever gör det bästa av sina elever, snarare än att utfärda hot eller straff."
Huvudlärare har attackerat tanken på Ofsted inspektörer besöker skolor i England utan förvarning.