I sine memoarer gjengir Freeman en traumatisk opplevelse i sine guttedager som hadde fulgt ham kort tid etter en forfølgelse av jøder i nabolaget. Sammen med tusener andre som flyktet fra etnisk vold i Russland emigrerte familien Freeman til USA i 1904. Joseph ble naturalisert som amerikansk borger i 1920.. I den nye verden fikk de et nytt liv i Brooklyn, New York, og Isaac Freeman tjente til livets opphold som eiendomsmekler.