Imbert provenía de una familia de destacados militares, pues él era bisnieto del prócer independentista general José María Imbert, nacido en el noroeste de Francia en 1798; su abuelo, el general Segundo Francisco Imbert combatió en la Guerra de la Restauración y fue vicepresidente de la República Dominicana de 1887 a 1889.