Huitfeldt fikk oppgaven med å lede forhandlingene om et byråd med Frp, som Høyre etter hvert hadde åpnet for. Forhandlingene førte frem til en avtale i april 1996, men den nyvalgte bystyrerepresentanten Khalid Mahmood (H) nektet å støtte et forslag fra Frp om å lage et såkalt "innvandrerregnskap". Etter dette brøt forhandlingene sammen på målstreken, selv om partiene i utgangspunktet var enige. Da Gerhardsen i desember 1996 trakk seg fordi han ikke ville styre på et borgerlig budsjett for 1997, kom Huitfeldt imidlertid tilbake og ble utpekt som leder for et rent Høyre-byråd.