「真是一条长路，这期间我已经有5个孙子了」。金栗四三也曾被选拔参加1916年奥运会，但此次比赛由于第一次世界大战而取消。在此之后金栗四三参加了1920年安特卫普奥运会，并以2小时48分45.4秒的成绩完成了比赛，排名第16。金栗四三继续参加了1924年巴黎奥运会，但没有能够完成比赛。1920年金栗四三组织开展了「东京箱根间往复大学接力跑」比赛（箱根接力赛），从2004年开始，这项比赛以及富士登山接力赛的最高奖以他命名为「金栗四三杯」。金栗四三晚年居住在家乡熊本县玉名市，并于1983年11月13日