Podczas kalifornijskiej gorączki złota, gdy San Francisco było głównym miastem w okolicy, interesy Richardsona znacznie się rozwinęły, jednak niewiele później dotknęły go, jak wielu innych właścicieli ziemskich, problemy z nielegalnymi mieszkańcami na terenie jego posiadłości. W połączeniu z kilkoma nietrafionymi inwestycjami, na przykład budowie młyna na Rancho Albion, gdzie nie potrafił dowieść swoich praw do własności gruntu, jego finanse załamały się. Padł także ofiarą zagarnięcia ziemi przez Jose Yves Limantoura, a także stracił majątek na nieudanych planach inwestycji w rozwój San Diego. Dodatkowo w 1855 stracił wszystkie swoje trzy statki handlowe w katastrofach morskich.