Hans politiske løpebane begynte hos Venstresocialisterne, som Kolstrup var folketingskandidat for i Maribokredsen 1974–1986. Han satt også i VS' hovedstyre fra 1982 til 1986. Da Enhedslisten ble dannet ble han aktiv i EL, og var fra 1990–1994 folketingskandidat i Maribokredsen og fra 1994 medlem av partiets økonomisk-politiske utvalg. I 1997 stilte han opp i Odense Østkredsen og Otterupkredsen. Han satt som folketingsmedlem for Enhedslisten i Fyns Amtskreds fra 11. mars 1998 til 20. november 2001.