Rusby grandit à Franklin (aujourd'hui Nutley) dans le New Jersey et se passionne pour les plantes. À 21 ans il remporte le premier prix de l'Exposition universelle de 1876 de Philadelphie. À la même époque il fait la connaissance du docteur George Thurber, alors président de la Torrey Botanical Society. Rusby rejoint ce club en 1879 et commence à étudier la médecine à l'université de New York. En 1880 il passe 18 mois à recueillir des plantes au Texas et au Nouveau-Mexique pour le compte de la Smithsonian Institution et en 1883 il retourne dans le sud ouest des États-Unis afin d'étudier et de récolter des plantes médicinales pour la compagnie pharmaceutique Parke-Davis.