Spanjoren kastade sig för att köra lågt in i hörnet från Zlatan Ibrahimovics reträtt som United satte upp en hemmaslips med West Ham.
Paul Pogba hade slagit en post ögonblick tidigare som spelet kom levande i den andra perioden, efter en första halv där ingen av de bittra rivaler lyckades ett skott på målet.
City boss Pep Guardiola gjorde nio ändringar på sin sida, som nu är sex matcher utan vinst i alla tävlingar - hans värsta körning som chef.
Deras bästa chans kom tidigt när Kelechi Iheanacho gick över sex meter, medan andra hälften substitut Raheem Sterling och Sergio Aguero gjorde lite intryck.
Segern var Uniteds andra i fem matcher, och bara Jose Mourinhos fjärde seger i 18 möten med Guardiola.
Tidigare Chelsea och Real Madrid manager Mourinho sade på onsdag hans liv i Manchester är "en bit av en katastrof".
Hans ord och Uniteds dåliga form skapade en känsla av att nederlag på Old Trafford skulle framkalla tuffa rubriker, och Mourinho erkände nyligen visade påverkade hans val att göra bara fyra ändringar och behålla nyckelnamn.
Förenade, långt ifrån som bäst, gjorde under sin enda stavning av kvalitet i öppningen 10 minuter av den andra halvan som Ibrahimovic - anonym under öppningsperioden - tjänade på Nicolas Otamendis missade rubrik till torget för Mata.
Det finns fortfarande områden av oro för Förenade kungariket. Luke Shaw var ständigt överlistad av Jesus Navas och återigen fanns det ingen plats i 18-man truppen för £ 26m sommar signering Henrik Mkhitaryan.
Men medan Guardiola sa att tävlingen var hans "lägsta prioritet" innan kick-off, Mourinho kanske tog chansen att ändra Uniteds drivkraft.
Guardiola sade City måste vara "mer kliniskt" efter att de slutade natten utan att arbeta David de Gea en gång - första gången de inte har haft ett skott på målet i ett spel sedan 2012.
City, som är bäst i Premier League, fick ett tidigt straff överklagande avvisade när Michael Carrick trasslade med Aleix Garcia.
De grossistförändringar som gjorts för slipsen kan sudda detaljerad analys av precis vad som är fel under de senaste veckorna, men en övergång till en 4-4-2-formation efter två ligamatcher där en tillbaka tre användes kanske visar Guardiola har ännu inte bestämt sig på vägen framåt på City.
Han kunde också möta mer tid utan kapten Vincent Kompany, som, gör bara sin andra start av säsongen, bad att ersättas vid halvtid eftersom han var trött.
Kompany drabbades av en ljumske stam i september men har varit ihärdiga av lår och kalv frågor, vilket föranledde hans speltid att falla från cirka 2.700 minuter 2013-14 till 1.700 förra säsongen.
Det fanns några positiva för Guardiola som 19-åriga full-back Pablo Maffeo gjorde några viktiga interventioner men om staden misslyckas med att vinna på lördag skulle de vara sju matcher utan vinst, en hemsk körning inte uthärdas sedan 2004.
Manchester United manager Jose Mourinho att svara på söndagens 4-0 ligan nederlag i Chelsea: "Vi var på en bra kör av resultat men det var ett stort nederlag - siffror som historien om denna klubb inte förtjänar.
"När jag är på en klubb tillhör mitt hjärta fansen och jag kände djupt för dem.
"Verkligheten är att jag aldrig har haft sådana här människor. Vi förlorade 4-0 och de stöttade oss.
"Idag var arenan full av verkligt stöd och det ser ut som den kärlek människor har för klubben är större än dåliga resultat, större än tre dåliga säsonger. Vi måste ge tillbaka något."
Manchester City boss Pep Guardiola: " Jag är stolt över de unga spelarna och hur de spelade.
"På den nivån måste du vara mer klinisk med det sista passet men det är svårt mot United. Vi är lyckliga. Jag vill försöka vinna men nu ska vi fokusera på nästa tävlingar."
Manchester City reser till sidan som har gjort färre pass än någon annan i Premier League denna säsong - West Brom - på lördag och värd Barcelona tre dagar senare.
Förenade ansiktet Burnley på Old Trafford på lördag och besöka Fenerbahce i Europa League på torsdag.
Matchen slutar, Manchester United 1, Manchester City 0.
Andra halvlek, Manchester United 1, Manchester City 0.
Foul av Pablo Maffeo (Manchester City).
Zlatan Ibrahimovic (Manchester United) vinner en frispark i defensiva halvan.
Zlatan Ibrahimovic (Manchester United) visas det gula kortet.
Paul Pogba (Manchester United) visas det gula kortet för en dålig foul.
Nicolás Otamendi (Manchester City) vinner en frispark i defensiva halvan.
Foul av Paul Pogba (Manchester United).
Foul av Aleksandar Kolarov (Manchester City).
Zlatan Ibrahimovic (Manchester United) vinner en frispark i anfallshalvan.
Offside, Manchester United. Paul Pogba försöker en genom boll, men Morgan Schneiderlin fångas offside.
Foul av Sergio Agüero (Manchester City).
Michael Carrick (Manchester United) vinner en frispark i den defensiva halvan.
Substitution, Manchester United. Jesse Lingard ersätter Marcus Rashford på grund av en skada.
Försök blockerat. Jesús Navas (Manchester City) höger fotade skott från vänster sida av lådan är blockerad. Hjälpt av Aleksandar Kolarov.
Sergio Agüero (Manchester City) vinner en frispark i defensiva halvan.
Foul av Luke Shaw (Manchester United).
Hörnet, Manchester United. Förföljd av Pablo Maffeo.
Foul av Aleix García (Manchester City).
Morgan Schneiderlin (Manchester United) vinner en frispark i den defensiva halvan.
Nicolás Otamendi (Manchester City) vinner en frispark i defensiva halvan.
Foul av Morgan Schneiderlin (Manchester United).
Foul av Fernando (Manchester City).
Zlatan Ibrahimovic (Manchester United) vinner en frispark på högerkanten.
Substitution, Manchester United. Morgan Schneiderlin ersätter Juan Mata.
Gaël Clichy (Manchester City) vinner en frispark i defensiva halvan.
Foul av Marcus Rashford (Manchester United).
Hörnet, Manchester City. Förföljd av Daley Blind.
Substitution, Manchester City. Sergio Agüero ersätter Nolito.
Försök missade. Aleksandar Kolarov (Manchester City) vänster fotade skott från utsidan boxen är hög och bred till höger från en direkt frispark.
Raheem Sterling (Manchester City) vinner en frispark i anfallshalvan.
Foul av Ander Herrera (Manchester United).
Hörnet, Manchester City. Förföljd av Luke Shaw.
Ander Herrera (Manchester United) vinner en frispark i den defensiva halvan.
Foul av Raheem Sterling (Manchester City).
Substitution, Manchester City. Raheem Sterling ersätter Leroy Sané.
Försök missade. Aleksandar Kolarov (Manchester City) vänster fotade skott utanför lådan är för hög. Hjälpt av Aleix García.
Offside, Manchester United. Antonio Valencia försöker en genom boll, men Juan Mata fångas offside.
Mål!  Manchester United 1, Manchester City 0. Juan Mata (Manchester United) vänster fotade skott från mitten av lådan till nedre vänstra hörnet. Hjälpt av Zlatan Ibrahimovic.
Försök missade. Ander Herrera (Manchester United) höger fotade skott utanför lådan missar till höger.
Juan Mata slog till för att vinna en tight Manchester derby som United slog ut EFL Cup innehavare City för att nå kvartsfinalen.