Mellom 1961 til 1965 arbeidet Brown under Robert McNamara som direktør for forsvarsforskning, før han i oktober 1965 ble utnevnt til statssekretær for United States Air Force under president Lyndon B. Johnson, et embete han beholdt til februar 1969.