侍婢却为他生了王琨这个儿子，最初取名「崑崙」。后来，南阳乐氏的乐玄嫁了女儿给王怿，但没有为王怿生下嫡子，王琨就改了这个名字并获立为后嗣。而王琨年少时谨直笃实，堂伯王谧很喜爱他。宋武帝刘裕篡晋自立后，因着昔日起兵讨伐桓玄之际杀了对他很亲厚的上司徐州刺史桓脩，作为补偿不但请王华协助将桓脩长女嫁给了王琨，也让王琨任郎中、驸马都尉、奉朝请。宋文帝即位后，王琨堂兄侍中王华获文帝信任并掌握权力，王华因着其父王廞在东晋末年因叛被诛，其一系门户衰落，故特别亲待王琨，并多度推荐他。王琨于是历任尚书仪曹郎，州治中，左军谘议