Downey wuchs bis zu seinem 14. Lebensjahr in Irland auf. Im Jahr 1842 wanderte die Familie nach Amerika aus und ließ sich in Maryland nieder. Zwei Jahre später machte sich der nunmehr 16-jährige Downey selbstständig und begann eine bis 1846 befristete Lehre in einer Apotheke in Washington. Seinen nächsten Arbeitsplatz fand er in Cincinnati (Ohio), wo er als Drogist arbeitete. Als in Kalifornien Gold gefunden wurde, machte er sich auf Umwegen auf den Weg nach Westen, wo er 1849 ankam. Nach einigen Zwischenstationen in San Francisco zog es ihn nach Los Angeles, wo er sich erfolgreich als Geschäftsmann betätigte. Sein Hauptaugenmerk lag auf dem Immobilienhandel und der Viehzucht. Etwa zur gleichen Zeit entdeckte er sein Interesse für die Politik und wurde Mitglied des Stadtrats von Los Angeles.