Lord Patten, som stöder Storbritannien som stannar kvar i EU, sade John Johnson, en framstående ledare för Leave-kampanjen, "gör bara upp det medan han fortsätter".
Han sade också att det skulle vara "mycket svårt" för David Cameron att förbli ledare om Storbritannien röstade för att lämna EU.
Röstning Avgång sade att det var ledsen på "nivå av debatt" från resterande lägret.
John Johnson har tidigare sagt att väljarna vill ha en ordentlig debatt och höra om frågorna, "inte personliga attacker".
Förenade kungariket beslutar om man ska stanna kvar i eller lämna Europeiska unionen i en folkomröstning den 23 juni.
Det konservativa partiet är djupt splittrat i frågan, med David Cameron och de flesta av hans kabinett som kämpar för en återstående röst, men ungefär hälften av de parlamentsledamöter som stöder en EU-utresa.
Debatten inom partiet har blivit alltmer aggfull, med f.d. vice premiärminister och pro-Remain-kämpe Lord Heseltine som nyligen anklagade Johnson för att förlora sitt omdöme om EU.
Lord Patten, Tory partiordförande från 1990 till 1992, kompletterade den kritik av den tidigare London borgmästaren, i en intervju med Newsnights David Grossman på fredag.
"Boris bara hittar på det när han går längs, och du stöter på folk så där", sade han.
"Man kan inte kalla Boris lögnare." Jag tror att han är en av de människor i livet som helt enkelt inte riktigt förstår skillnaden mellan fakta och fiktion."
Han tillade: " Om han kan göra ett bra skämt genom att säga något, eller om han kan skriva en tidningsartikel genom att hänvisa till Hitler och Europeiska unionen, så gör han det - och han tänker inte på det.
"Han säger motsatsen om några månader."
Lord Patten, en EU-kommissionär från 2000 till 2004, sade att Johnson var en "anhörig" karaktär, men tillade: "Boris är Boris. Tommy Cooper var Tommy Cooper."
Som svar sades det i voteringsmeddelandet: "Det är sorgligt att se att debatten om "remainers" har reducerats till. De hade fel om euron då och de har fel nu."
Och att tala med BBC Newsnight, Lämna kampanjaren Jacob Rees Mogg föreslog att Lord Pattens "fara är nästan säkert syntetisk".
Parlamentsledamöterna föreslog att Lord Patten skulle försöka "slå ner" herr Johnson eftersom han vet att den f.d. borgmästaren i London var "väldigt populär och betrodd" och pläderade för ett "exceptionellt effektivt" EU-utträde.
The Daily Mail rapporterade tidigare i veckan att "senior parti siffror" hade varnat för en misstroendeomröstning i Mr Cameron efter den 23 juni, oavsett resultatet, över hans hantering av folkomröstningskampanjen.
När det gäller frågan om att återförena det konservativa partiet efter folkomröstningen sade Lord Patten att om Storbritannien röstade för att lämna EU skulle det vara "mycket svårt" för Cameron att fortsätta som ledare.
"Kommer människor som Michael Gove, Mr Johnson och Iain Duncan Smith... att kräva att mr Cameron ska gå hand i hand med Europa under de kommande åren och försöka förhandla om nya handelsavtal och nya avtal med EU?
"Jag vet inte", sa han.
Lord Patten sade att om Storbritannien röstade för att stanna kvar i EU måste Cameron hävda sin auktoritet och försöka sammanföra partiet.
Men han föreslog att statsministern skulle ge mr Johnson en utmanande kabinettspost, till exempel att leda hälsodepartementet.
"Det kommer verkligen att testa om det finns något bakom alla skämt", sade han.
Han sade också att det är ett mål att hålla valdeltagandet så lågt som möjligt och att uppmana ungdomar att stanna hemma och inte rösta, vilket han sade var "extraordinärt".
Och han tillade: "Jag oroar mig för många av Brexiters, på ett slags spottfläckigt sätt, detta är ett neverendum, inte en folkomröstning."
Också i intervjun medgav Tory partiordföranden att han hade gjort fel beslut om att Storbritannien skulle gå med i euron.
"Jag räckte upp handen", sa han. "Alla gör ibland ett misstag och jag tror att jag hade fel om det."
Boris Johnson verkar inte förstå "skillnaden mellan fakta och fiktion", tidigare Tory ordförande Lord Patten har berättat BBC Newsnight.