クレヴァ城はリトアニア大公ゲディミナスが、ヴィリニュスを守る拠点の一つとして築かせた城だと考えられている。史料にクレヴァ城への言及が見られるのは、1330年代からである。1380年代初頭にリトアニア大公国で起きた内戦の舞台にもなり、1382年にリトアニア大公ケーストゥティスが城の地下牢に投獄され、甥のヨガイラ（ポーランド王ヴワディスワフ2世）の命令で殺害された。1385年にヨガイラとポーランド王女ヤドヴィガの結婚を取り決める契約（クレヴォ合同）がこの城で締結される。