Brolin nació en Santa Mónica, California, hijo de Jane Cameron (de apellido de soltera Agee), una activista de la vida silvestre originaria de Corpus Christi, Texas, y del actor James Brolin.