Han ble av mange oppfattet som en representant for partiets høyrefløy. I 1983 følte han selv at han ble presset til å gå som partileder etter intern strid om blant annet samarbeidet med Høyre. Han byttet verv med Kjell Magne Bondevik, slik at Bondevik ble leder og Kristiansen parlamentarisk leder. Men bare noen uker senere gikk partiet med i Willoch-regjeringen, der Kristiansen ble olje- og energiminister. Både han selv og partiet ønsket at han skulle bli utenriksminister, men det nektet statsministeren å gå med på. Da regjeringen gikk av i 1986, overtok Bondevik vervet som parlamentarisk formann, samtidig som han fortsatte som partileder. Kristiansen oppfattet dette som brudd på avtalen fra 1983 og betraktet seg mer eller mindre som frilstilt resten av stortingsperioden. I 1989 trakk han seg som stortingsrepresentant, med den begrunnelse at partiet hadde fjernet seg fra sin gamle kurs. I de senere år hadde han og hans meningsfeller oppfattet seg som marginalisert i partiet.