Tavernier nació en Lyon, hijo de Geneviève (nacida Dumond) y René Tavernier, un publicista, escritor y durante muchos años presidente de la PEN Club Internacional francesa. El director dijo que la publicación por parte de su padre de un diario de resistencia en tiempos de guerra y la ayuda a intelectuales antinazis moldearon su perspectiva moral como artista. Según Tavernier, su padre creía que las palabras eran «tan importantes y letales como las balas». Tavernier quería convertirse en cineasta desde los 13 años. Afirma que sus influencias cinematográficas incluyen a John Ford, William Wellman, Jean Renoir, Jean Vigo y Jacques Becker. Tavernier estuvo influenciado por la huelga general de 1968 en Francia.Se afilió a la OCI entre 1973 y 1975, y quedó particularmente impresionado por la escritura de Leon Trotsky. Su primer trabajo en el mundo de cine fue junto a Jean-Pierre Melville. Posteriormente, su primera película ("L'Horloger de Saint-Paul", 1974) ganó el Premio Louis Delluc y el Oso de Plata en el Festival Internacional de Cine de Berlín de 1974.