Era el hijo menor de William y Minerva Karns Milk, judíos de Europa Oriental, y nieto de Morris Milk, un vendedor lituano, propietario de almacenes y que ayudó a organizar la primera sinagoga en el área.