Han var den eldste av to sønner i en prestefamilie, og arvet både presteyrket og jernbaneinteressen etter sin far. Han vokste opp i Box i Wiltshire, blant annet i huset «Journey's End»; to hundre meter fra et jernbanespor tilhørende Great Western Railway. Her var det en bakke, og Wilbert skal ha fantasert om at lokomotivene «snakket sammen». Han mente at et lokomotiv sa «I can't do it! I can't do it! I can't do it!»»og et hjelpende lokomotiv kunne si «Yes, you can! Yes, you can! Yes, you can». Dette skal ha vært inspirasjonen til historien «Edward & Gordon».