。永初二年（421年），琳之转任御史中丞，任内严守法度，不因别人而屈挠，例如他就曾经弹劾当权的尚书令徐羡之的省事倪宗的于恣无礼行为，同时亦责身为宰辅的徐羡之纵容他行恶，建议免其官职，以公爵还第。徐羡之不想这事公诸于人前，于是就命时任扬州治中的琳之弟孔璩之去向琳之解释，求他不要上奏。但琳之不肯，璩之坚持仍不听，更说：「我忤逆了宰相，有罪也只在我一人而已，你肯定不会被连坐，还何必这么勤恳呀！」虽然宋武帝没有处罚羡之，但琳之的坚持已震慑众臣，令他们都不敢犯禁，而武帝亦对他甚为欣赏，每行经兰台都会进去见他。后领