由于徐玠效忠徐知诰，徐知诰和他变得亲密无间，他们之间的怨恨消失了。徐知诰镇守金陵，任命徐玠为行军司马。934年，徐玠和节度副使李建勋等人多次陈奏徐知诰的功业，希望杨溥禅让皇位给徐知诰。徐知诰被任命为大元帅，936年建立大元帅府，于是徐知诰任命都统判官宋齐丘为元帅府左司马，行军司马徐玠为元帅府右司马。937年，徐知诰被封为齐王，于是委任左、右司马宋齐丘和徐玠为左、右丞相。
南唐时代.937年九月十七日，杨溥禅让皇位于徐知诰，吴国灭亡。十月初五，徐知诰即皇帝位，建立齐国（南唐）。十月