养子。自小即表现出杰出的天才、文禄4年（1595年）１３岁进入京都的建仁寺作“稚儿”，学习佛教，寺内诸僧劝其剃发出家，但他拒绝出家，他说：“身体发肤不可毁伤，孝也。且无子孙，亦为不孝”，最后返回家里。他治学热衷于朱子学，庆长9年（1604年）时遇到藤原惺窝，学问受其影响甚大。藤原亦对林罗山的聪颖相当欣赏，因而于次年的1605年将他推荐给德川家康，以二十三岁的年轻少年身份，成为德川的智库。1607年他在江户为第二代将军德川秀忠（家康的三子）讲学。宽永元年（1624年）时他成了第三代将军德川家光（秀忠的