大和魂の語の初出は、『源氏物語』の『少女』帖とされている。大和魂の語・概念は、漢才という語・概念と対のものとして生まれた。和魂漢才とは、漢才、すなわち中国などから流入してきた知識・学問をそのまま日本へ移植するのではなく、あくまで基礎的教養として採り入れ、それを日本の実情に合わせて応用的に政治や生活の場面で発揮することである。『源氏物語』が生まれた平安中期は、国風文化という日本独特の文化が興った時代であるが、当時の人々の中には、中国から伝来した知識・文化が基盤となって、日本風に味付けしているのだ、という認識が存在していたと考えられている。そのうち、大和魂は、机上の知識を現実の様々な場面で応用する判断力・能力を表すようになり、主として「実務能力」の意味で用いられていた。
江戸時代になると、中期以降の国学の流れの中で上代文学の研究が進み、大和魂の語は本居宣長が提唱した「漢意（からごころ）」と対比されるようになって（真心）、「もののあはれ」「はかりごとのないありのままの素直な心」「仏教や儒学から離れた日本古来から伝統的に伝わる固有の精神」のような概念が発見・付与されていき、後期には「日本の独自性を主張するための政治的な用語」として使われるようになった。そうした中で、遣唐使廃止を建言した菅原道真が、大和魂の語の創始者に仮託されるようになった。このような傾向は、儒学の深化に加え、水戸学や国学などの発展による尊皇論の興隆に伴うものであり、近代化への原動力ともなった。