在家中排行第一，一共有十一个兄弟姊妹。不过，他有四个兄弟姊妹不幸早夭。费舍尔曾说，“我的母亲是非常出色美丽的年轻女子...我的父亲也非常英俊。至于我为何那么丑陋，就是一个生理学不解难题了。”儿子出生后，威廉出售了军职，经营咖啡种植园。后来他还成为了总警司。为了经营种植园，他积累了不少债务，难以支撑成员不断增加的家庭。约翰6岁时被家人送回英国，在伦敦新邦德街（New Bond Street）和外祖父查尔斯·拉姆（Charles Lambe）一起居住。他的外祖父也不富裕，需要出租家中的房间维持生计。约翰的胞