Bowers nació en Ottawa, Illinois, hijo de Glen Bowers y Edna Ostrander. Después de abrirse camino a través de la Gran Depresión en Chicago, luchó en el Pacífico, incluso en la Batalla de Iwo Jima, como un paramarino (paracaidistas de la Marina) en el Cuerpo de Marines durante la Segunda Guerra Mundial, perdiendo a su hermano y dos amigos cercanos. Según sus memorias, su carrera sexual comenzó en 1946 mientras trabajaba como asistente en la estación de servicio Richfield Oil ubicada en 5777 Hollywood Boulevard, en la esquina de Van Ness Avenue.