Сент-Эндрюсский университет
Айвори родился в шотландском городе Данди, где окончил местную школу. В 1779 году поступил в Сент-Эндрюсский университет, прославивший себя в области математики. Позже изучал теологию, однако после двух семестров в Сент-Эндрюс и одного в Эдинбургском университете отказывается от всех церковных идей и в 1786 году становится ассистентом математики и естественной философии в только что образованной академии в своем родном городе. Три года спустя он становится акционером и управляющим компании по производству гибких спиннингов в Дугластауне, одновременно с этим продолжая в свободное время заниматься любимым делом.