Etter at KrF vedtok å gå i regjeringsforhandlinger med Frp høsten 2018, meldte han seg ut av partiet i januar 2019. Han ble deretter en av initiativtakerne til det kristendemokratiske nettverket «Drivkraft», hvor han i mars 2019 ble valgt som nestleder. I 2020 var han med på å etablere Partiet Sentrum. I 2023 utga With boka "Reiserefleksjoner - Håp i minelagte områder". I 2024 kom "Tyrkiske tårer - flyktninger i Norge om tortur og overgrep". Begge bøker på Forlaget Horisont.