年（410年），刘裕领平西将军，以琳之为其长史，后历琅邪王司马德文的大司马从事中郎，刘裕的平北长史及征西长史，以及侍中。义熙十四年（418年），刘裕封宋公，以十郡建宋国，琳之转为宋国侍中。后出为吴兴太守，因公事被免职。永初二年（421年），琳之转任御史中丞，任内严守法度，不因别人而屈挠，例如他就曾经弹劾当权的尚书令徐羡之的省事倪宗的于恣无礼行为，同时亦责身为宰辅的徐羡之纵容他行恶，建议免其官职，以公爵还第。徐羡之不想这事公诸于人前，于是就命时任扬州治中的琳之弟孔璩之去向琳之解释，求他不要上奏。但琳之不肯