Planene om å bygge ut strekningen mellom Barkåker og Tønsberg ble kritisert av flere organisasjoner, i tillegg til NSB, som i stedet mente at Jernbaneverket burde vente til videre utbygging av Vestfoldbanen var ferdig planlagt. De mente at utbyggingen ville gi for små besparelser i reisetid, og ville heller begynne med å bygge ut strekningen mellom Holm og Nykirke. NSB mente at å bygge ut strekningen mellom Barkåker og Tønsberg ville hindre byggingen av den nye banen via Horten, Åsgårdstrand og Eik.