Før han ble ansatt i NCIS, reiste Gibbs på flere hemmelige operasjoner, særlig i Øst-Europa. Dette blir demonstrert av en rekke flashbacks, mange av disse inkluderer hans tidligere elsker, direktør Jenny Shepard (spilt av Lauren Holly). Gibbs har vært gift fire ganger og han ble skilt tre ganger. Hans første ekteskap ble holdt hemmelig for resten av Gibbs' kollegaer og bekjente frem til episoden «Hiatus (Part 1)» som er den siste episoden av sesong 3.