Засновником Кревського замку традиційно вважають князя Гедиміна. Після нього замком володів Ольгерд Гедимінович. Після його смерті замок, як і всі володіння Ольгерда, перейшов до його сина Ягайла. Він у 1382 році стратив у замку свого дядька Кейстута, боячись його можливої боротьби за владу. У 1385 році Ягайло уклав у замку Кревську унію з Польщею. У 1433 році замком заволодів Свидригайло Ольгердович, литовський княжич, що боровся за владу та виступав проти Кревської унії. У 1503—1506 роках замок кілька разів брали в облогу татари, та замок швидко відновлювали. У 1519 році Кревський замок був захоплений московськими воєводами у ході московсько-литовської війни. З плином часу замок втрачав своє оборонне призначення.