Baylan var skolminister från den 1 november 2004 till efter valet 2006. I början av 2005 hamnade Baylan i blåsväder sedan Skolverket, efter kritik från skolministern, dragit tillbaka en uppmärksammad rapport. Rapporten, som presenterades den 24 januari, drog bland annat slutsatsen att friskolor var mer budgetmedvetna och kostnadseffektiva än kommunala skolor, samt att lärarnas utbildning inte hade någon större inverkan på elevernas resultat. Dagen efter uttalade sig Baylan i TV och sade: "Den här rapporten som ju i sig är en produkt som man borde fundera på om den någonsin borde ha släppts ut från Skolverket". Samma dag drog också Skolverket in rapporten med motiveringen att den hade stora vetenskapliga brister. Därefter anmäldes skolministern till konstitutionsutskottet av Moderaterna och Folkpartiet för misstänkt ministerstyre. Under utfrågningen i KU förnekade Baylan att han avsett att styra Skolverket.