Міллер народився 23 січня 1923 в місті Нью-Смірна-Біч, штат Флорида. Вчився в університеті Теннессі і в Техаському університеті на інженерній спеціальності. Протягом другої світової війни він служив в Військово-повітряних силах США радистом та кулеметником на бомбардувальнику. Загалом він брав участь в більш ніж п'ятдесятьох місіях над Італією. Зокрема він брав участь в бомбардуванні абатства Бенедиктинців в Монте Кассіно, що сильно вплинуло на нього. Джо Голдеман писав, що Міллер «мав посттравматичний синдром за тридцять років до того, як вигадали цю назву», а також про те що в його вітальні завжди було фото Рона Ковіца (відомого анти-воєнного активіста).