Han ble født i Skottland, sønn til en engelsk ingeniør, John Busby, og hans kone, Sarah Kennedy. Familien hans emigrerte fra England til New South Wales i 1824.