Den tidigare England internationalen, 34, har undertecknat en fri överföring efter att ha vunnit vänner på och utanför fältet under sina tre månader på Ricoh Arena.
"Han är bra att ha runt omklädningsrummet", sade stadschefen Tony Mowbray.
Resten av gruppen livnär sig på hans erfarenhet. Jag är säker på att det kommer att ha en positiv inverkan på våra unga spelare."
Cole gjorde en sprickbildning fri-kick i en 4-3 seger över Barnsley efter ankomsten den 19 oktober, men har bara gjort sju framträdanden totalt på grund av skada niggles.
"Vår personal har arbetat hårt för att bygga upp sin kondition och fysiskhet, och vi har sett Joe verkligen köpa in vad vi försöker göra här," tillade Mowbray.
"Jag ser bara hans föreställningar för klubben bli bättre. Han är ett fantastiskt alternativ att ha från och med nu fram till slutet av säsongen."
Cole började sin karriär på West Ham innan han flyttade 2003 till Chelsea, för vilken han gjorde 183 liga framträdanden, poäng 28 mål.
Efter sju år på Stamford Bridge och två Premier League-titlar flyttade han till Liverpool, men hade en låneformel med franska Ligue 1 sida Lille innan han återvände till boyhood club West Ham 2013.
Han gjorde 31 framträdanden i en ettårig trollformel på Upton Park, poäng fem mål, innan han bytte till Villa, för vilken han gjorde fyra starter.
Cole gjorde 10 mål i 56 internationella framträdanden för England.
Hitta alla de senaste fotbollsöverföringarna på vår dedikerade sida.
Coventry Citys on-loan Aston Villa midfielder Joe Cole har avslutat en flytt till Ricoh Arena på ett avtal till slutet av säsongen.