Browns foreldre valgte å ikke ha TV, i stedet brukte familien mye tid på klassisk musikk – Brown spilte piano, sang i kor og gikk på konserter. Browns interesse for hemmeligheter og gåter stammer fra barndommen. Han elsket å løse anagrammer og kryssord, og faren hans laget avanserte skattejakter for barna til bursdager og høytider. På julaften pleide han å lage et skattekart med ledetråder gjennom huset og noen ganger rundt i byen, i stedet for å legge gavene under treet.