Kompany - tillbaka efter en fem månaders skada permittering - lämnade fältet efter eget val i skadetid efter att staden hade gjort alla tre substitutioner.
Gael Clichys fjärde mål i engelsk fotboll hade satt City i ledningen innan Aleix Garcia svepte hem en sekund.
Swanseas skivsignering Borja Baston missade flera chanser innan Gylfi Sigurdsson fick en sen tröst.
Belgiska center-back Kompany satt ut Euro 2016 och hade inte spelat sedan skada tvingade honom av i City Champions League semifinal nederlag av Real Madrid den 4 maj.
"Läkarna talar med honom, men förhoppningsvis är det inte ett stort, stort problem. Vi kommer att vänta på resultatet, "sade stadsdirektör Pep Guardiola.
"När de gjorde målet, efter att jag sa: "Vad hände?". De sa att Vincent hade gått till omklädningsrummet. Förhoppningsvis blir det inget stort problem. Vi får vänta. Om han är skadad, är han skadad. Han kan inte stanna på planen."
"Det är inte lätt efter en lång, lång tid utan att spela. Defensivt var han så stark - han spelade riktigt bra."
Båda sidor ringde förändringarna för detta spel men City visade att de har djup att tävla i alla tävlingar - trots Guardiola hånar tanken på att vinna fyra troféer - med gillar Kompany, Pablo Zabaleta och John Stones restaureras av spanjoren.
Swansea gjorde åtta förändringar själva och börjar med Jay Fulton och försvararen Kyle Naughton, som ytter, gav sitt team ett experimentellt utseende.
En nära första halvlek såg chanserna begränsade, men City ökade framåt efter pausen genom Clichys avböjda mål och kan ha lagt till Garcias smarta sekund efter Jesus Navas "några kors.
Staden kom två gånger nära att ge svanarna ett mål, men Borja nekades av Willy Caballero på vardera sidan om halvtiden, innan Sigurdssons sena tröstinsats från nära håll.
Swansea chef Francesco Guidolin:
"Det är inget bra ögonblick för oss. Små saker går emot oss, vi missar chanser.
"Manchester City är ett mycket bra team, även om de ändrade sina spelare runt. Men jag är optimistisk, som jag såg mitt lag spela ett bra spel.
"Det här är mitt jobb. Med min erfarenhet vet jag att fotboll är så här. Det ger mig ingen extra press. Jag måste arbeta med mina spelare, min personal och för att få bättre resultat."
Matchen slutar, Swansea City 1, Manchester City 2.
Andra halvlek, Swansea City 1, Manchester City 2.
Hörnet, Swansea City. Förföljd av Tosin Adarabioyo.
Mål!  Swansea City 1, Manchester City 2. Gylfi Sigurdsson (Swansea City) vänster fotade skott från mitten av lådan till nedre vänstra hörnet. Hjälpt av Modou Barrow.
Försök missade. Modou Barrow (Swansea City) vänster fotade skott utanför lådan är nära, men missar övre vänstra hörnet.
Substitution, Manchester City. Tosin Adarabioyo ersätter Aleix García.
Hörnet, Swansea City. Förföljd av Vincent Kompany.
Fernando (Manchester City) visas det gula kortet för en dålig foul.
Leon Britton (Swansea City) vinner en frispark i den defensiva halvan.
Foul av Fernando (Manchester City).
Försöket räddades. Jay Fulton (Swansea City) höger fotade skott från höger sida av lådan sparas i nedre högra hörnet.
Hörnet, Swansea City. Förföljd av Aleix García.
Foul av Leon Britton (Swansea City).
Brahim Diaz (Manchester City) vinner en frispark i den defensiva halvan.
Modou Barrow (Swansea City) vinner en frispark på vänsterflygeln.
Foul av Gaël Clichy (Manchester City).
Substitution, Manchester City. Brahim Diaz ersätter Kelechi Iheanacho.
Foul av Mike van der Hoorn (Swansea City).
Leroy Sané (Manchester City) vinner en frispark i den defensiva halvan.
Hörnet, Manchester City. Förföljd av Jay Fulton.
Försök blockerat. Kevin De Bruyne (Manchester City) höger fotade skott utanför lådan är blockerad.
Hörnet, Swansea City. Förföljd av Pablo Zabaleta.
Substitution, Swansea City. Modou Barrow ersätter Borja Bastón.
(Manchester City) vinner en frispark i anfallshalvan.
Foul av Mike van der Hoorn (Swansea City).
Hörnet, Swansea City. Förföljd av Pablo Zabaleta.
Försöket räddades. Kevin De Bruyne (Manchester City) höger fotad skott från mitten av lådan sparas i nedre högra hörnet.
Mål!  Swansea City 0, Manchester City 2. Aleix García (Manchester City) vänster fotade skott från mitten av lådan till nedre vänstra hörnet. Hjälpt av Jesús Navas.
Försök missade. Borja Bastón (Swansea City) höger fotade skott från vänster sida av lådan är nära, men missar övre vänstra hörnet.
Foul av Leroy Fer (Swansea City).
Aleix García (Manchester City) vinner en frispark i anfallshalvan.
Försöket räddades. Borja Bastón (Swansea City) höger fotade skott från höger sida av lådan sparas i nedre högra hörnet.
Substitution, Swansea City. Gylfi Sigurdsson ersätter Kyle Naughton.
Kyle Naughton (Swansea City) vinner en frispark på vänsterflygeln.
Foul av Gaël Clichy (Manchester City).
Försök missade. Aleix García (Manchester City) vänster fotade skott utanför lådan är bara lite för hög.
Substitution, Manchester City. Kevin De Bruyne ersätter Angelino.
Substitution, Swansea City. Leroy Fer ersätter Jack Cork.
Kyle Naughton (Swansea City) visas det gula kortet för en dålig foul.
Hörnet, Swansea City. Översatt av Fernando.
Vincent Kompany drabbades av en skada skrämma på hans återkomst som Manchester City lättade förbi Swansea i EFL Cup.