相传，在吐蕃时期，松赞干布为免拉萨河泛滥殃及大昭寺，乃在该寺东南侧的一个地洞中修行，以镇服水魔。15世纪，贵觉东丹（1386年－1445年）来这里朝觐，便围绕这个修行洞建了一座小庙，自萨迦请来10位女尼。阿尼仓空寺也因这个修行洞而得名。该寺建寺开始便属格鲁派，此后从未改宗。该寺历史上由历代帕绷喀大师管辖。历史上，阿尼仓空寺并不隶属于任何寺院。文化大革命期间，该寺关闭。改革开放后，该寺重新开放，从重新开放后，直至1985年以前，该寺行政上隶属于大昭寺管辖，人民政府在传大昭时所发的布施也是由大昭寺转交该寺。