Im Zuge des kalifornischen Goldrauschs suchte auch Smith ab April 1849 sein Glück im Westen der Vereinigten Staaten und folgte seinen zwei Söhnen, die schon länger dort waren. Er engagierte sich in der örtlichen Demokratischen Partei, war 1850 Präsident der ersten "Democratic Convention" des Staates und investierte in Immobilien, so dass er 1852 als wohlhabender Mann nach Virginia zurückkehrte. Von hier aus wurde er erneut für vier Legislaturperioden (4. März 1853 bis 3. März 1861) ins Unterhaus des Kongresses in Washington entsandt.