Felix Genzmer stammet fra en juristfamilie. Faren, Stephan Genzmer, var senatspresident i , og hans yngre bror, Erich Genzmer, ble professor i romer- og sivilrett ved universitetet i Hamburg.