Benoist d ’ Azy har vägrat emottaga handelsministersportföljen.