当家の古文書によれば、先祖は関ヶ原の戦いに敗れた石田三成の家臣の一人であった小林彌五兵衛正門という人物がおり、菩提寺の過去帳や小林家の墓石によって見て取ることができる。また、先祖の一人に俳諧人がおり、奇しくも同姓で長野県の同郷でもある小林一茶とその社中の一人として交流があったと思われる。江戸中期〜幕末にかけても、豪農として田畑を相当持っており、自分の家では作りきれないためよそへ小作に出していたくらいである。祝議不祝儀の度に食器などをいつも部落へ貸し出していたという村では上層階級に属していた。栄次は長丘村尋常小学校で学んだが、成績は優秀で常に二番、三番以下に下ったことはない。学校の成績は良かったものの、勉強は殆どせず無類のわんぱく少年であった。小学三年生の時、家に女性の教師が間借りをしていた。小林家は旧家で家も広く、部屋数も多かった。そのため、学校の先生に部屋を貸すことができたのである。栄次が三年生の時に偶然この先生が彼の担任になった。唱歌の時間に、彼は先生に授業をせずに学校の裏山へみんなを連れていくよう頼んだ。彼の好きな教科は体操だけで、他は嫌いだった。しかし、彼の要求が断られたためにその先生に腹いせをした。次の時間に学校のチャイムが鳴り、先生が入って来て教壇に上り授業開始の号令をすると、教壇の下に潜んでいた彼が教壇ごと先生を持ち上げたのであった。彼は罰則を下され、放課後まで廊下に立たされ、後で職員室に呼ばれ説教された。彼の悪戯があまりに酷いために、先生は彼の父親に注意してくれという旨の手紙を渡し、彼は父からも大いに説教された。隣部落からやってくる同年輩のかぼちゃ泥棒を追って敵陣深く攻め入ったり、よその家のまだ育ち切っていないかぼちゃをむしって桑の木の先に突き刺して置いたり、その仕返しを受けて大切に家で育てられていた桐の若木の皮をすべて剥がされてしまったりと彼の悪戯癖はかなりのものであった。