Ulstein fratrådte som byråd da Kristelig Folkeparti trakk seg fra byrådssamarbeidet med Høyre og Fremskrittspartiet etter at det var oppstått uenighet om en avtale som var blitt inngått i byrådet mellom de tre partiene. Avtalen gjaldt trasé for bybanen til Åsane. Høsten 2014 ble han nominert som førstekandidat på Kristelig Folkepartis valgliste for kommunevalget i 2015.