Su padre, Antoine Ibert, un hombre de negocios y comerciante, fue un violinista aficionado, mientras que su madre, Marguerite Lartigue Ibert, era una consumada pianista que había tomado clases con Marmontel y Le Couppey, ambos maestros en el conservatorio de parís.