BAM Nuttall överlämnade projektet två år sent i augusti 2011.
Rådet sa att det var kvar med 31 miljoner pund fel på St Ives till Cambridge rutten. Det sades att även om det inte fanns några säkerhetsproblem, behövde bristerna rättas till.
Ingen från BAM Nuttall fanns att kommentera.
Vid ett möte i kommittén för allmänna ändamål sade rådets tekniska rådgivare att entreprenören borde hållas ansvarig för att lösa problem, inklusive grundgrunder och otillräcklig dränering.
Även om dessa inte var farliga, skulle "körkvalitet försämras" med tiden.
Rådsledamöterna röstade enhälligt för att inleda rättsliga åtgärder mot BAM Nuttall.
Det beräknas att reparationerna kan ta tre år att slutföra.
Rådet betalade ursprungligen BAM Nuttall 17,7 miljoner pund för sitt arbete.
I augusti förra året, efter en pågående rättslig strid om det sena genomförandet av projektet, betalade företaget tillbaka 33 miljoner pund av detta, vilket minskade kostnaden till 84,7 miljoner pund.
Det företag som byggde Cambridgeshires vägledda bussbana ska "hållas till svars" för kostnaderna för defekter, har landstinget kommit överens.