Broderick flyttade 1823 till New York med sina föräldrar. I sin tidiga ungdom blev han stenhuggare precis som fadern. Han kandiderade utan framgång till i kongressvalet 1846. Han flyttade 1849 till Kalifornien i samband med guldrushen.