森五世和母亲伊丽莎白·巴塞特（，婚后改姓哈里森）共有七个孩子，威廉是幺子。哈里森家族祖上来自英格兰，17世纪30年代就开始定居弗吉尼亚殖民地，是当地政治望族，威廉日后成为最后一位出生时不是美国公民的美国总统。他的父亲是种植园主，曾是1774至1777年大陆会议代表并在《独立宣言》上签字，美国独立战争期间还曾入选弗吉尼亚议会，并在1781至1784年任弗吉尼亚州州长。威廉的哥哥卡特·巴塞特·哈里森（）曾于1793至1799年担任弗吉尼亚州联邦众议员。哈里森起初在家中学习，直到14岁进入弗吉尼亚州长老会院校