I et intervju innrømmet Hall at inspirasjonen bak sangen var Harpeth Valley Elementary School i Bellevue i Tennessee, ikke langt fra hans daværende hjem i Franklin. Han likte lyden av navnet og bestemte seg for å skrive en sang hvor han brukte et liknende navn. Hall skrev angivelig også sangen om Olive Hill i Kentucky, hvor han vokste opp.