Nei Marines Gibbs ha fatto parte della polizia militare di Camp Lejeune prima di diventare un tiratore scelto. Ha prestato servizio a Panama e durante la Guerra del Golfo. Alla fine della terza stagione si scopre che la prima moglie di Gibbs, Shannon, e la loro figlia Kelly sono state assassinate nel 1991, mentre Gibbs era all'estero impegnato nella Guerra del Golfo e la loro morte segnerà profondamente Leroy Jethro, spingendolo ad entrare all NCIS. Non molto tempo dopo essere tornato dall'Iraq è stato congedato con onore dal Corpo dei Marines con il grado di sergente d'artiglieria e si è unito al Servizio Investigativo della Marina, entrando a far parte della squadra di Mike Franks, con il quale diventerà buon amico.