Il castello, che sorge ad un'altezza di circa 340 metri, sulla collina di San Nicola del Vaglia, fu costruito probabilmente sotto Mansone I di Amalfi dopo la conquista del borgo di "Castrum Licterensis" da parte degli Amalfitani: la principale funzione della struttura era quella di confine e prevenire eventuali attacchi dal golfo di Napoli al ducato di Amalfi; il castello inoltre proteggeva entro le sue mura una chiesa, alcune abitazioni e diverse botteghe. Con l'arrivo dei Normanni la fortezza fu ampliata: furono costruite infatti nuove mura, una nuova porta, dotata di ponte levatoio e protetta da un camminamento con arcieri e a poca distanza dal castello fu costruita una cattedrale, in stile romanico, con decorazioni in tufo giallo e verde. Durante la fase Sveva, il feudo di Lettere, passò nel 1263 a Riccardo Filangieri: a lui si devono la costruzione del mastio e di una torre. Con l'arrivo degli Angioini, il castello fu protagonista nella guerra del vespro e venne notevolmente ampliato e strutturato in modo da poter ospitare i nuovi sistemi difensivi: fu ampliata la cinta muraria, costruita una nuova torre nel lato sud, affiancata da due piccole torrette, armate con armi da fuoco e furono costruiti dei corridoi pensili in modo tale da mettere in comunicazione i vari camminamenti. Durante la dominazione Aragonese, persa la sua funzione difensiva, fu trasformato in residenza privata e nelle possenti mura furono aperte numerose finestre; nel 1529, fu venduto a Isabella de Caprona che così lo descriveva: