Brown og Simpson giftet seg den 2. februar 1985, fem år etter han sluttet som profesjonell fotballspiller. De fikk to barn sammen, Sydney Brooke (født 17. oktober 1985) og Justin Ryan Simpson (født 6. august 1988). Ekteskapet varte i syv år, frem til Brown søkte om skilsmisse i 1992, angivelig på grunn av «uforsonlige forskjeller» mellom ektefellene.