James E. Freeman machte seinen Schulabschluss an der Bishop Loughlin Memorial High School im Jahr 1964. Er diente in der United States Marine Corps und sollte im Vietnamkrieg kämpfen, teilte dann aber mit 22 Jahren seinen Vorgesetzten seine Homosexualität mit, woraufhin er aus der Marine entlassen wurde. 1969 war er Augenzeuge des Stonewall-Aufstands. In den frühen 1970ern wandte Freeman sich der Schauspielerei zu und studierte in den Shelton Studios bei San Francisco.