この時期、福岡に残された家族が貧窮のどん底にあったことは、後年杉山の長男の夢野久作が書き残している。