日本語における漢語の借用の歴史は古く、和語とともに国語の語彙と認識される。これは、一般に片仮名で表記され、外来の借用語としての印象が強い、洋語とは対照的である。外来語をはじめとする新語に対して、旧来から存在する和語や漢語をあわせて「在来語」と表現する者もいる。
一般的に漢語は、上代から中世にかけて体系化された呉音と漢音、およびこれ以降に伝来した唐宋音を反映した語彙体系のことをいう。これら漢字の字音は音読みと総称され、これらを複合・派生させることによって、あるいは単独で用いることによって、漢語は構成される。複数の漢字が一つの語を形成するものを特に熟語と称する場合もある。なお、漢語が日本に定着する過程で、発音に連声や音便あるいは慣用音などの形で変化が起こったため、日本語における漢語の発音はかなり変則的である。
ところで、中国由来の語彙が日本に流入したのは、上代より過去の時代まで遡ると考えられ、例えば、「うま」（馬）、「うめ」（梅）、「たけ」（竹）、「むぎ」（麦）などの語は、同時代における中国の古い字音との関連が指摘されているが、仮にこれらが借用された語だったとしても、これらは訓読みに準じた扱いを受け、通常は漢語の範疇に含めない。同様に「ぜに」（銭）のように字音が変化して国訓化した語も存在する。さらに「おに」（鬼）、「ひどい」（酷い）のように元の用字が忘れられ、本来とは異なる表記をする例もある（それぞれ「隠」、「非道」の字音に由来する）。
また、現代中国語の発音を模した「メンツ」（面子、北京語由来）や、「ワンタン」（雲呑、広東語由来）などの語は、借用の歴史が浅いため、洋語とまとめて外来語とするのが妥当である。
梵語、西域諸言語由来.
これらは本来の漢語とは厳密には異なる出自をもつが、その源流が明確なものはむしろ少数であり、広い意味での漢語とみなして差し支えない。本項でも特にことわりのない限り漢語として扱う。
当て字.
造語.
時代の変容とともに新たな概念を表現するため、語彙は自然に発生したり、あるいは人為的に造語されたりする。漢語もこの例外ではないが、近代に至るまで漢字圏では尚古思想が強く、造語の際はなるべく典拠に基づくよう努力が行われた。