格雷厄姆1岁多时，他的父亲成为苏格兰因弗雷地区（Inveraray）的代理警长，而格雷厄姆也很喜欢这里的海岸。但是在他5岁时，母亲因难产而离世，并导致他的父亲开始酗酒。格雷厄姆与他的手足因此搬到祖母吉尼·英格尔位于南英格兰伯克郡泰晤士河畔库克汉姆村的家。传记作家彼得·格林认为当地的田园风景、森林及泰晤士河对肯尼斯·格雷厄姆影响很大，促使他创作出《柳林中的风声》 。他后来进入牛津的圣爱德华中学学习，成为一位优秀的学生。他在圣爱德华中学时代可以自由探索老城区，造访古色古香的商店、历史建筑与鹅卵石铺成的街道。