Brown ville først bli katolsk prest, men han ombestemte seg og ble politiker i stedet. I 1960-årene var han med i en organisasjon som var imot krigen i Vietnam. I 1980-årene reiste han ofte til Japan for å studere buddhisme.