Han ble født som det tredje av fire barn av James Cunningham Grahame (1830–1887) og Elizabeth Grahame. Moren døde i forbindelse med den fjerde barnefødselen i 1864. Faren var advokat og familien hadde i 1860 flyttet til Argyll, hvor han var ansatt som fogdens stedfortreder. Etter morens dødsfall overtok mormoren omsorgen for barna; de bodde i Berkshire og Cranbourne. Faren hadde liten kontakt med barna de siste 20 årene av livet; han bodde i Frankrike og kom seg aldri etter tapet av hustruen.