La villa de Rialp tiene su origen en el castillo situado en un montículo a la derecha del río Noguera Pallaresa, desde donde se controlaba el paso hacia el valle del valle de Àssua y los valles del Alto Pallars.