Prof Gerry Holtham sade planer för en rådgivande grupp av företagsledare och experter var "troligen inte tillräckligt".
Han hävdade att det skulle vara en "stor fråga" för förste minister Carwyn Jones att lägga Brexit till sin lista över ansvar.
Ekonomen sade att en hängiven Brexit ministerium skulle ha personal och resurser för att utföra arbetet.
Prof Holtham, som tidigare ledde en undersökning av den walesiska regeringens finansiering, sade att den rådgivande gruppen var en bra idé att hjälpa till med "mycket komplicerade" förhandlingar, och hävdade att både de walesiska och brittiska regeringarna var "brist på erfarenhet och expertis".
Men professorn vid Cardiff Metropolitan University sade att panelen inte skulle vara tillräcklig.
"Brexit kommer att påverka många olika ministerier inom den walesiska regeringen", berättade han BBC Wales, namnge jordbruk och industri som nyckelområden.
"Alla dessa kommer att behöva arbeta tillsammans och göra sin insats", sade han.
"Den walesiska regeringen har inte varit så bra i det förflutna vid den typen av departementsöverskridande samordning.
"Det kan hjälpa att ha någon som är ansvarig för att dra ihop det och genomföra förhandlingarna."
Ny premiärminister Theresa May har utsett David Davis till utrikesminister med ansvar för Brexit i Förenade kungarikets regering, med f.d. walesisk sekreterare David Jones som biträdande minister som arbetar med honom.
Holtham sade att den förste ministern kanske vill leda Brexit-svaret från Wales själv, men frågade: "Har han personalen som stöd för att verkligen genomföra detta?
"Om det fanns en avdelning som gjorde detta, skulle det finnas tjänstemän som var utstationerade till det och det skulle ha resurser att utföra arbetet, samt ha en minister som ansvarade för att se till att all information samlades och samordnades på rätt sätt.
"Det är en stor fråga för den första ministern att göra det såväl som alla andra saker som han måste göra."
I juli sade Mr Jones till BBC:s Sunday Politics Wales: "Det kan inte finnas någon minister för Brexit.
"Jag har ett begränsat antal ministrar som jag kan utse - jag kan inte utse någon bara för att göra det.
"Verkligheten är att vi kan göra detta ändå... inte bara jag men kabinettet och andra fester också."
Som svar på Holthams kommentarer sade en talesman för den walesiska regeringen: "Den förste ministern är ordförande för en underkommitté som uteslutande är inriktad på Brexitfrågor och sammanför de avdelningar som är direkt knutna till EU:s företag.
"Dessutom kommer kabinettssekreteraren för ekonomi och lokala myndigheter att vara ordförande för en rådgivande EU-grupp som samlar expertis och branschintressen från hela Wales.
"Under denna process kommer den walesiska regeringen att kämpa kraftfullt för Wales intressen."
Wales behöver en hängiven minister för Brexit för att samordna sitt svar på att lämna EU, har en före detta walesiska regeringens rådgivare sagt.