Gilje har skrevet en lang rekke artikler og bøker om idé- og kulturhistoriske emner. Han har særlig arbeidet med 1500- og 1600-tallets idéhistorie.