Imbert provenía de una familia de destacados militares, pues él era bisnieto del prócer independentista general José María Imbert, nacido en el noroeste de Francia en 1798; su abuelo, el general Segundo Francisco Imbert combatió en la Guerra de la Restauración y fue vicepresidente de la República Dominicana de 1887 a 1889. Además, su hermano Segundo Manuel Imbert Barrera fue mayor del ejército hasta su apresamiento en marzo de 1956 por homicidio; fue Cónsul General de la República en Puerto España (Trinidad y Tobago). Este último era padre de la escritora y periodista dominicana Carmen Imbert Brugal.