El más joven de dos hermanos, Kramer nació en Bridgeport (Connecticut), considerado un «hijo no deseado» por sus padres judíos, un abogado y una trabajadora social.