坟时代之后，其山麓地带陆续建造了许多规模庞大的古坟。一般由此推测，这一带曾经存在代表日本列岛的政治势力，亦即大和政权初期的三轮政权（王朝）。该处并排着许多200~300公尺规模的巨大古坟，其中有的被视为崇神天皇、景行天皇的陵墓，而箸墓古坟也有人推测是魏志倭人传中出现的邪马台国女王卑弥唿之墓。在古事记与日本书纪中，记载了代表三轮山的大物主神的传说。从古代一直到江户时代，三轮山平等寺的神官僧侣会一同举行全山的祭典。明治以后，山的一大部分都被视作大神神社的境内，三轮山本身也成为神体。参拜的人可以从拜殿直接仰拜