。桓玄以太尉控制朝廷时，以孔琳之为其西合祭酒。不过，桓玄先后建议将货币由钱改成谷帛以及恢复肉刑，孔琳之都出言反对，桓玄以其不肯附和自己而不重用他，后来转为楚台员外散骑侍郎。孔琳之因母丧离职，任司徒左西掾后又因父亲孔廞退休而自行离职。后来，时任会稽内史的司马休之任用孔琳之为其后将军长史，但琳之又因父丧离职。守丧期过后，琳之历任太尉主簿、尚书左丞及扬州之中从事史，任内都显着功绩。后又转尚书吏部郎。义熙六年（410年），刘裕领平西将军，以琳之为其长史，后历琅邪王司马德文的大司马从事中郎，刘裕的平北长史及征西长