澳大利亚维多利亚州并在该镇开办“阿培水果糖果店”（Willie Ah Poy Fruitier and Confectioner），其后“培”的台山话读音Poy成为其英文姓氏。1907年，伍冰枝的父亲伍英才生于澳大利亚，他拥有英国国籍，在二战时沦为日本的战俘，后被英国通过交换战俘换回。因此伍氏家族在1942年（民国31年），根据《1923年华人移民法案》中许可华人入境的「特别个案」规定，举家移民到加拿大。伍冰枝曾在渥太华的公立学校就读，1956年至1960年间在多伦多大学三一学院修修读文学学位。在大学期