Han var bror til biskop Januarius Kyūnosuke Hayasaka, den første biskop i Japan som selv var fra landet.