Cowell berättade att hans 88-åriga mamma fortfarande bestämmer.
"Hon älskar fortfarande att säga upp mig", erkände X Factor bossen.
"Det värsta hon kan säga till mig om jag har mina vänner runt är, "Simon sluta skryta" och det finns inget svar tillbaka till det," tillade han.
"Det hände mig en gång när jag var 15 och jag tog med en tjej runt på söndag lunch.
"Och jag visade upp mig. Sen sa mamma: "Simon sluta skryta" och jag kunde bokstavligen inte komma på ett svar."
Simon Cowell skämtar om att han fortfarande lever den dagen regelbundet, men nu använder han frasen till sin egen fördel.
"Jag hatade henne så mycket", sa han. "Och det höll med mig. Det är en riktigt bra sak att säga till de andra domarna."
Cowell är tillbaka på X Factors bedömningspanel för första gången på fyra år.
Den 54-årige hoppas att hans återkomst tillsammans med Cheryl, Louis Walsh och Mel B kommer att bidra till att göra sångtävlingen den kraft det en gång var.
Under de senaste åren har X Factor fallit efter i ratings kampen med sin främsta rival Strictly Come Dancing med fler människor nu tittar på BBC One balroom dans show.
Du kan höra Nick Grimshaws intervju med Simon Cowell på Radio 1 Frukost show på fredag från 6:30 BST.
Följ @BBCNewsbeat på Twitter och Radio1Newsbeat på YouTube
Cheryl, Louis Walsh eller Mel B kan inte hantera det men det finns en person som kan sätta Simon Cowell i hans ställe - Julie, hans mamma.