Cassirer ble født i Breslau. Hans far Julius Cassirer var gjennom en felles oldefar fjernt i slekt med sin kone Julcher (Julie) født Cassirer.