Conway var sønn av pastor William Conway, senere kannik ved Westminster Abbey. Han ble utdannet ved University of Cambridge, hvor han studerte matematikk og ble en nær venn av Karl Pearson. Han ble interessert i tresnitt, kobberstikk og tidlige trykte bøker, en interesse som ble oppmuntret av universitetets bibliotekar, Henry Bradshaw. Fra 1880 finansierte Bradshaw Conways reiser til de viktigste bibliotekene i Europa, hvor Conway samlet materiale til (1884), den mest akademiske av hans tretti bøker.