Theo truyền thuyết, vua Tàu và vua Chăm đưa ra một cuộc thi xây tháp, bên nào xây xong tháp trước trong thời gian đã quy định thì bên ấy được ở lại giữ đất, ngược lại bên nào xây chậm hơn thì phải rút quân đi.