Kallsberg var valgt inn i det danske Folketinget fra 2005 til 2007, som den ene av to representanter fra Færøyene. Han sa deretter fra seg gjenvalg som partiformann og vurderte å gi seg på Lagtinget. Han ble gjenvalgt til Lagtinget i 2008 og satt som formann i Lagtingets finanskomité frem til januar 2011, da han gikk av med pensjon.