由于骷髅会神秘与精英主义的特性，许多人相信骷髅会有着特殊甚至不可告人的罪恶使命。很多人相信近现代历史上几乎所有的重大事件都是由该会策划的，包括原子弹的研制、《时代》与《新闻周刊》两大左右国际舆论的美国媒体的成立、猪玀湾事件、肯尼迪遇刺案、水门事件以及美国的外交政策等。然而虽然在所有这些事件的决策者中，确实都可以找到骷髅会成员的身影，但因此断定骷髅会是这些事件的幕后主使却依然没有确凿的证据。2004年美国总统选举中，民主党与共和党推举的两名候选人小布什与约翰·克里竟然都是骷髅会成员，又进一步加深了许多人对于骷髅会的猜疑。