随刘裕渡过长江，薛谨很快转任记室参军。薛辩将要归附北魏时，秘密派人报告薛谨，薛谨于是从彭城前来投奔。北魏朝廷称赞他，任命薛谨出任河东郡太守。薛谨后承袭了父亲的爵位平西将军、汾阴侯。薛谨治理的地区与胡夏赫连勃勃区域连接，他聚集部众抗击敌人，很有声威和恩惠。始光三年（426年），魏太武帝拓跋焘诏令司空奚斤率领四万五千人出兵蒲坂，宋兵将军周几率领一万余人出兵陕城讨伐赫连昌，敕令薛谨率领侧翼部队作为前锋带路，薛谨活捉了胡夏东平公乙兜。北魏攻克蒲坂后，魏太武帝把新旧之民合并在一郡之中，薛谨仍为太守、平西将军。神䴥三年