Som en del av sin rekreasjon, reiste Brooke rundt i USA og Canada for å skrive reisedagbøker for . Han tok den lange veien hjem, seilte over Stillehavet og ble værende noen måneder i Polynesia. Langt senere ble det avslørt at han kan ha blitt far til en datter med en tahitisk kvinne ved navn Taatamata som han synes å ha hatt sitt mest fullverdige emosjonelle forhold til. Mange andre mennesker ble forelsket i ham. Han var romantisk involvert med skuespilleren Cathleen Nesbitt og var en gang forlovet med Noël Olivier, datter av Sydney Olivier, som han møtte da hun var 15 år ved den progressive Bedales School.