Cassirers far Julius hadde seks brødre og to søstre. Blant Fritz’ fettere fantes kunsthandleren Paul Cassirer, filosofen Ernst Cassirer, industriherren og kunstsamleren Hugo Cassirer (hvis sønn giftet seg med romanforfatteren Nadine Gordimer) samt nevrologen Richard Cassirer.