里八名子女中排行最小，父亲老西门·菲沙和母亲伊莎贝拉·格兰特（）于1773年从苏格兰迁居至奥尔巴尼，再于翌年迁至枫树镇。美国独立战争期间老西门效力英军，于1777年的本宁顿战役中被俘虏，1779年初在奥尔巴尼监狱去世。战后伊莎贝拉举家于1784年迁至现加拿大境内，辗转到了现安大略省康和一带定居。1790年，14岁的西门·菲沙转居蒙特娄，投靠在当地任职法官的老西门兄弟约翰·菲沙。西门·菲沙读了两年书后，于1792年成为西北公司学徒，投身皮毛交易行业。他被派驻阿萨巴斯卡地区（），到了1801年成为合伙人。