后来转为楚台员外散骑侍郎。孔琳之因母丧离职，任司徒左西掾后又因父亲孔廞退休而自行离职。后来，时任会稽内史的司马休之任用孔琳之为其后将军长史，但琳之又因父丧离职。守丧期过后，琳之历任太尉主簿、尚书左丞及扬州之中从事史，任内都显着功绩。后又转尚书吏部郎。义熙六年（410年），刘裕领平西将军，以琳之为其长史，后历琅邪王司马德文的大司马从事中郎，刘裕的平北长史及征西长史，以及侍中。义熙十四年（418年），刘裕封宋公，以十郡建宋国，琳之转为宋国侍中。后出为吴兴太守，因公事被免职。永初二年（421年），琳之转任