Miller ble uteksaminert fra United States Coast Guard Academy i 1945, og tjenestegjorde deretter i United States Coast Guard. Etter fire år som offiser begynte han jusstudier ved University of California, Berkeley. I 1952 avla han embedseksamen i jus og begynte å jobbe i advokatfirmaet Cravath, Swaine & Moore i New York. I 1956 begynte han i Textron, og ble med årene administrerende direktør.