Babington ble utdannet av sin far, Matthew Drake Babington, og studerte senere under orientalisten og arkeologen Charles Wycliffe Goodwin da han begynte på St. John's College, Cambrigde i 1839. Han ble uteksaminert i 1843. I 1845 fikk han Hulsea prisen for essayet sitt, . Han ble ferdig med sin mastergrad i 1846, og med sin PhD i 1879.