次就任之初，日本电视台在彩色化上取得进展。1970年4月，日本电视台的彩色节目播出时间佔比达76.4%，领先第二位NHK的73%，位居东京各台第一。1971年10月，日本电视台实现全部节目彩色播出。但也是在这一时期，因日本经济萧条，加上日本电视台被大藏省发现财务数字造假，导致日本电视台一度出现赤字。日本电视台的收视率也在这一时期出现下降，从1960年代大部分时间和富士电视台争夺核心局第二位下降至和富士电视台、NET电视台（现朝日电视台）并驾齐驱，被当时有「民放之雄」之称的TBS拉开差距。小林因此展开一系