Im Rahmen des Goldrausches wurde nahe dem heutigen Azusa im San Gabriel Canyon Gold gefunden, es bildete sich eine Goldgräbersiedlung mit Namen "El Doradoville", die 1861 einer Flut zum Opfer fiel. 1860 hatte die Bundesregierung Land für die Besiedlung von Daltons Ranch abgeteilt. Daraufhin strömten Siedler auf dieses Land. 1868 wurde schließlich die erste Schule gegründet. Er wehrte sich hiergegen mit rechtlichen Schritten. Als 1880 die Gerichte endgültig gegen ihn entschieden hatte er sein Land an den Bankier Jonathan S. Slauson abtreten müssen. Slauson teilte das Land auf und veräußerte es als Parzellen 1887. Er legte damit den Grundstein für die heutige Stadt. Am 29. Dezember 1898 wurde Azusa als Stadt sechster Klasse anerkannt. Hatte Azusa 1890 noch 800 Einwohner, waren es im Jahr nach der Erhebung zur Stadt 865.