Rampal nació en Marsella, donde su padre, Joseph Rampal, era primer flautista en la sinfónica y profesor en el conservatorio.