Aunque tuvo varias relaciones sentimentales, algunas de ellas con personalidades de Hollywood tales como Jack Pickford, Brian se casó solamente dos veces.