贵族在家信徒密切关系、疏远对中下阶级民众的精英集团。因此佛教未能像婆罗门教（即现在的印度教）等其他宗教那样对上中下阶级大众建立为在家信徒的家庭传统，这样佛教在古印度就渐渐失去了民众基础。一旦失去国王们和贵族的支持就更加速了佛教在古印度的衰落。从阿育王以来，佛教僧伽供养成习，12世纪晚期，信奉伊斯兰教的突厥人入侵印度时，对佛教并不友善。那烂陀寺等佛教寺庙被穆斯林军队夷为平地。尤其是那烂陀寺的图书馆被付之一炬，致使佛教和古印度文明的大量典籍从此消失。这一时期古印度佛教的典章文物几乎丧失殆尽。不过有一批密