Downey s'installa alors à Cincinnati comme pharmacien. Lors du déclenchement de la ruée vers l'or, il partit vers l'ouest. Mais sa route le conduisit à Vicksburg (Mississippi), à La Havane (Cuba) et à La Nouvelle-Orléans. On ne connaît pas les raisons qui poussèrent Downey à adopter une telle route, mais il arriva finalement en Californie en 1849 où il trouva un emploi dans une pharmacie de San Francisco. Il s'installa ensuite à Los Angeles où il devint un homme d'affaires prospère en intervenant comme agent immobilier et en s'impliquant dans l'élevage.