Los pobladores de Puerto de la Torre eran inicialmente emigrantes de Almogía y su comarca, a la que tenían una fuerte vinculación debido al transporte de trigo y aceitunas a los antiguos molinos, de los cuales aún quedan una fábrica de aceite y varias de pan.