Syse tjenestegjorde ved Statsministerens kontor 1998–2003, var avdelingssjef og komitésekretær for Stortingets utenrikskomité 2003–2008 og ekspedisjonssjef for Europa- og handelssaker i Utenriksdepartementet 2008–2011.