Etter å ha jobbet på en rekke jernbaneprosjekter i det nordøstlige USA, ble Judah ansatt som sjefsingeniør for Sacramento Valley Railroad i California. Det skulle stå for den første jernbaneutbyggingen vest for Mississippi. I løpet av 1850-årene ble Judah kjent som «Crazy Judah» («Gale-Judah») for hans idé om å bygge en jernbane gjennom og over fjellkjeden Sierra Nevada, et prosjekt som på den tiden ble ansett som umulig.