Det illegale arbeidet under krigen gjorde at Kolltveit var til forhør hos Gestapo hele ni ganger, og han ble arrestert to ganger. Han ble først fengslet i Bergen. Den 10. november 1942 ble han plassert på Grini, før han 19. november ble sendt til Sachsenhausen. Der døde han 19. mars året etter. Kolltveit var aktiv nynorskforkjemper og leder av studentmållaget i Oslo i studietiden.