Alfred Hughes ble født i Bostons bydel West Roxbury som det tredje av fire barn til Alfred og Ellen ( Hennessey) Hughes; en av hans brødre ble prest i jesuittordenen. Hughes studerte ved St. John's Seminary College, og deretter ved Gregoriana i Roma til 1958.