Grahame nådde toppen av sin karriere i banken i 1898, men trakk seg fra stillingen i 1908, og familien flyttet til Didcot i Oxfordshire, senere i 1910 til Blewbury noen km unna. Avskjeden hadde trolig sammenheng med dårlig helbred, men muligens også med en skyteepisode i 1903, som Grahame ytre sett kom uskadd fra. Sønnen Alastair mistrivdes på de fleste skolene han begynte ved. I 1918 begynte han ved Christ Church i Oxford, men mistrivdes også der. Alastair døde 13. mai 1920 etter å ha blitt påkjørt av toget. De fleste oppfatter dødsfallet som selvmord.