Brown engagierte sich nach seinem Eintritt in den Ruhestand als Schirmherr der 1986 gegründeten Entwicklungshilfeorganisation "Money for Madagascar". Er war auch als Schriftsteller tätig und verfasste unter anderem Bücher zur Geschichte Madagaskars sowie zum Laotischen Bürgerkrieg, in denen er zum Teil persönliche Erlebnisse seiner diplomatischen Tätigkeiten verarbeitete.