I de neste sesongene var han et sikkert valg på Sogndals venstreback i tillegg til å score flere mål på frispark. Han var også visekaptein i klubben den siste tiden han var der. Foran 2004-sesongen ble han hentet tilbake til Brann, men der gikk han stort sett skadet frem til debuten i 2005. Ironisk nok var han tilbake fra skade omtrent samtidig som hans konkurrent om venstrebackplassen, Erlend Hanstveit. Etter at Hanstveit ble skadefri måtte Kalvenes finne seg i å være andrevalg i Brann-forsvaret.