その賀茂氏との繋がりが深い三河国の武士団は、葵紋を家紋としてきた。これにより三河武士である徳川家が葵紋を使用していることは、徳川家が清和源氏（河内源氏）系新田氏流世良田氏（得川氏）の末裔ではなく賀茂県主氏の末裔ではないかとの説の根拠ともなっている。『見聞諸家紋』では、丹波国西田氏の二葉葵が載るが、この西田氏も賀茂神社の氏子であるのが葵紋使用の由来である。
豊臣家が滅んだ後、徳川家康の権威が上がると徳川家使用紋の葵紋は特別な家紋となっていった。家康が征夷大将軍となった後、次第に他家の三つ葉葵に限らず葵紋の使用がはばかられるようになり、松平家へは遠慮させ、伊奈家には禁止させている。一方で徳川家家臣である本多家（本多家は葵紋にこだわり「丸に立葵」の紋の使用を許された）や准家門の鳥取池田家（池田光仲は家康の曾孫にあたり鳥取城中ノ御門表門（大手門）周辺からは葵紋瓦が出土している）のように一部葵紋の使用を許されることもあった。
三つ葉葵.
外郭が、「丸輪（丸）」であるもののほかに、「隅切り角」や「隅切り折敷」（守山三つ葵・西条三つ葵など）のものや「五環」、「菊輪」であるものもそういう。いずれも、徳川一門の使用紋であるが、御家門や御連枝などの松平家の中では替紋の蔦紋や五三桐、唐団扇などを使用することがあった。
由来.
由来には、本多家に由来する説と酒井家に由来する説、松平家の元々の家紋であるとする説、などがある。
『日本家紋総覧』には、『改正三河後風土記』より酒井家に由来する説、『本多家譜』より本多氏と交換したという説、『三河後八代記』の「本多氏覚書」より家康が自ら考案したという説、ほかに松平氏を継ぎ、その家紋を踏襲した、という説を掲載している。
平岩親吉著とする『三河後風土記』は酒井氏を由来としている。その、三河後風土記を幕府の儒学者である成島司直が天保年間に校正した『改正三河後風土記』には、家祖が賀茂の社職であったという本多中務大輔家（本多忠勝の家系）より徳川家へと献上されたものとしている。