Den belgiska försvararen, 29, har startat bara 13 matcher i Premier League den här säsongen och har haft 14 kalvskador sedan signering 2008.
"Vincent har återigen en muskelskada i sin kalv, samma problem han haft tidigare," sade Pellegrini.
Kompany är inställd på en skanning på antingen onsdag eller torsdag.
Men Pellegrini förväntar sig att spelaren ska vara ute i "minst en månad", tillägger: "Vincent måste vara mycket stark mentalt.
"Det är väldigt svårt att acceptera men han har inget annat att göra."
Kompany kommer att sitta ut söndagens derby mot Manchester United och kommer sannolikt att missa Champions League kvartsfinal första benet den 5 eller 6 april.
Hans betydelse för staden är tydlig. Den här säsongen har de medgett ett mål varje 156 minuter när han är på planen och varje 70 minuter utan honom.
Han skrev i match-dags programmet innan matchen, han diskuterade sina skadeproblem.
"Jag spelar för en klubb som har stora förväntningar och en av dessa förväntningar är att jag omedelbart börjar dra i föreställningar som är värdiga detta lag," sade han. "I det avseendet har jag varit tvungen att slå till mot marken.
"Normalt får du en period att bosätta dig tillbaka i, kanske spela ett par övningsspel, och få dig 100% rätt.
"Det har inte varit möjligt i detta skede av säsongen. Jag har inte blivit lättad igen. Jag har spelat i några mycket stora spel de senaste veckorna men jag är vältränad och fokuserad. Mina förberedelser är helt rätt.
"Hela mitt liv just nu är att glömma vad som har hänt tidigare..."
Mediauppspelning stöds inte på den här enheten
BBC Radio 5 live medkommentar Andy Townsend sade Kompanys skada bör vara en allvarlig oro för Manchester City.
"Detta är en återkommande skada och det blir en kronisk situation med sin kalv", sade Townsend. "Det måste vara allvarligt oroande för honom nu.
"Klubben måste allvarligt tänka på pojkens långsiktiga karriär. Skadan är så ihärdig att han kommer att få ett allvarligt problem om han inte är försiktig.
"Med spelare jag har pratat med genom åren som har haft återkommande problem, som Michael Owen, de säger att du kör på fältet och du är livrädd att din kropp kommer att svika dig."
Pellegrini, som kommer att lämna klubben i sommar att ersättas av nuvarande Bayern München chefen Pep Guardiola, sade att nå de sista åtta för första gången är "en mycket viktig prestation för klubben".
Staden kommer att lära sig sina kvartsfinal motståndare i fredagens dragning, med Barcelona sidan för att undvika enligt Pellegrini.
Luis Enriques sida är ännu inte igenom till de sista åtta men håller en 2-0 ledning över Arsenal framför onsdagens andra ben på Nou Camp.
"Det lag som det är bättre än alla andra lag är Barcelona", sade Pellegrini. "Jag tror att alla andra lag är på en liknande nivå."
Barcelona har slagit ut staden ur Champions League under var och en av de senaste två säsongerna.
Trots stadens framsteg är Rio Ferdinand inte imponerad.
"Jag tror att de har gått baklänges," den tidigare England och Manchester United försvarare berättade BT Sport.
"Har de någon chans att vinna Champions League? Nej, det gör jag inte. De är längre ner än någonsin sedan pengarna injicerades."
Manchester City kommer att vara utan kapten Vincent Kompany i minst en månad efter att han skadade en kalv mot Champions League motståndare Dynamo Kiev.