Brown fikk diagnosen Kawasakis sykdom da han var 15 måneder gammel, og denne sykdommen førte til grønn stær (glaukom). 13 år gammel fikk han beskjed om at synet ikke kunne reddes. Han flyttet fra Kansas til St. Louis for å gå på Missouri School for the Blind, og begynte da med idrett, både bryting og goalball, før han fokuserte på friidrett.