Stanley Kramer kom fra nabolaget Hell's Kitchen, preget av råskap og kriminalitet. Begge foreldre var jøder. De sklte seg da Stanley var liten. Moren arbeidet i et New York.kontor for Paramount Pictures, og Stanley ble passet på av hennes foreldre. Onkelen, Earl Kramer, arbeidet i distrubusjonsavdelingen for Universal Pictures.