Nacido en París en el seno de una familia de artistas, Jolivet estudió violonchelo y, a continuación, composición con Paul Le Flem, con el que se concentró especialmente en obtener una sólida base en las formas clásicas de la armonía y el contrapunto.