Edmund Brown, genannt Pat, wurde am 21. April 1905 in San Francisco geboren. Sein Vater war während des Goldrauschs dorthin gezogen und hatte sich als Händler selbständig gemacht. Er wuchs zusammen mit zwei Brüdern und einer Schwester auf. Nachdem er die "Lowell High School" beendet hatte, begann er ein Jurastudium an der "San Francisco Law School", das er 1927 mit dem Bachelor abschloss. Im selben Jahr wurde er von der Rechtsanwaltskammer zugelassen. Bis 1943 arbeitete Brown als Anwalt in Kalifornien. Zwar versuchte er mehrmals in der Politik Fuß zu fassen, so kandidierte er schon 1928 als Republikaner für einen Sitz im kalifornischen Parlament, konnte sich aber, wie auch 1939, als Kandidat der Demokraten, als er sich für das Amt des Staatsanwalts in einem kalifornischen Distrikt wählen lassen wollte, nicht durchsetzen.