尔朱兆进入京师，魏孝庄帝被囚禁，李神俊逃窜到民间，魏孝武帝初年才回到朝廷，太昌元年九月庚申（532年11月12日）李神俊出任骠骑大将军、仪同三司，后又加官散骑常侍、左光禄大夫。魏孝静帝初年，李神俊代理并州刺史，不久出任骠骑大将军、肆州刺史，回朝担任侍中。兴和三年六月十七日（541年7月25日），李神俊去世，虚岁六十四，朝廷赠予都督雍秦泾三州诸军事、骠骑大将军、尚书左仆射、司徒公、雍州刺史，侍中、开国公如故，谥号文贞，兴和三年岁次辛酉十二月廿三日（542年1月24日）葬于邺城西南七里西门豹祠东南2.5里。