须弥山的开凿有几种说法，有说法认为是北魏政府为了转移人们对政府的不满，于是开始进一步鼓励崇佛修禅，大量的石窟在此阶段得以开凿，其中就可能包括须弥山石窟；也有说法认为固原在过去就是丝绸之路上的重要城池，在其周围出现石窟是文化交流的结果。此后，须弥山在西魏、北周、隋朝和唐朝时期均经历过大规模的开凿。唐朝时期，须弥山一带还曾经建造过规模很大的景云寺。宋朝和西夏时期，须弥山石窟曾有多次装修和修复活动，当地也曾建有多处寺庙。在这一时期，藏传佛教传入固原地区，这一时期在部分石窟当中出现了藏传佛教风格的壁画。明朝时，在景