Allerede i 1992 skiftet han til TV 2, hvor han frem til 1994 var redaktør for programmet . I 1995 ble han redaksjonssjef på , og var sjefredaktør samme sted fra 1997–1999, blant annet med ansvar for kulturstoffet. Siden 2000 har han vært kommentator i , hvor han sammen med blant andre Egon Balsby og Farshad Kholgi skrev spalten . Kastholm har dessuten vært medlem av Kunstrådet og formann for rådets litteraturutvalg, liksom han var medlem av det kulturministerielle utvalg som utarbeidet Kulturkanonen. I 2004 var han med og stiftet den borgerlig-liberale tenketank CEPOS.