名将羊祜之堂弟。《魏书·酷吏传》载羊祉为其六世孙。
生平.羊琇自少已于本郡出身，后来在镇西将军钟会军中参军事，跟随他讨平蜀汉。后来钟会谋反，羊琇正言苦谏不果，回朝后赐爵关内侯。羊琇博涉于学，为人有智谋、善算计，他自幼已与晋武帝司马炎相熟，每逢筵会他们都同席而坐。羊琇更曾经向司马炎说：「如果您有一天腾达富贵，我为您担任领护各十年。」司马炎戏而许诺。当司马炎未立为太子时，其名声不及弟弟司马攸，而司马昭又素来属意于司马攸，因此司马攸甚有继位之望。羊琇便私下为司马炎筹画策略，做了不少工夫。