Zijn ouders vertrokken kort nadat Kōsaku als het zesde van zeven kinderen geboren was naar Yokosuka in de prefectuur Kanagawa. Als de voorbereiding van de Eerste Chinees-Japanse Oorlog begon was Yamada onder sterke indruk van de optochten van de Japanse militaire orkesten in Yokosuka en volgde hun. Verder werd hij bekend met het zingen van hymnen in de protestantse kerk, in die hij met zijn moeder ging. Naar korte tijd vertrok de familie weer naar Tokio en zijn vader stierf daar als hij pas 9 jaar oud was. De eerste muziekles kreeg hij van zijn schoonbroer, een Engelsman en oriëntalist, die leraar was voor de Engelse taalkunde in de school en organist in de Anglicaanse kerk. Natuurlijk leerde hij ook de Engelse taal van hem.