Upper Canada
1840年7月14日、ジョリーはイギリス植民地のアッパー・カナダ、モントリオールの街に生まれた。父ジェームズはアイルランドからモントリオールに移住しており、ジョリーはアイルランド系2世にあたる。