Syse er medlem av Høyre, og han var leder av Oslo Unge Høyre 1988–1989 og redaktør for tidsskriftet 1998–2000. Han har skrevet flere artikler i tidsskriftet Minerva. Syse er også aktiv i kirkelige sammenhenger, blant annet som søndagsskolelærer, foredragsholder og skribent. Han arbeider p.t. (2016) deltid som foredrags- og kursholder og holder foredrag om bl.a. yrkesetikk, samfunnsansvar, politikk, filosofi og tro.