CatchPlus/OpenSKOS — Issue #8: resumptionToken should be empty at end of list
Author: wmelder
Created: 2012-02-24 10:55:14+00:00
State: open

Hi There,

here's another issue, which seems to me like a bug, from one of the developers (in Dutch):

"Ik loop tegen een nieuw probleem aan bij het harvesten. Wanneer je een call doet als: http://openskos.org/oai-pmh?verb=ListRecords&metadataPrefix=oai_rdf&from=2011-09-01T12:00:00Z

Dan zie je helemaal onderaan in de XML de omvang van de totale lijst + een token voor de volgende 100:

YTo0OntzOjQ6InZlcmIiO3M6MTE6Ikxpc3RSZWNvcmRzIjtzOjE0OiJtZXRhZGF0YVByZWZpeCI7czo3OiJvYWlfcmRmIjtzOjQ6ImZyb20iO3M6MjU6IjIwMTEtMDktMDFUMTI6MDA6MDArMDA6MDAiO3M6NDoicGFnZSI7aToyO30=

Volgens de documentatie is de completeListSize dus het totaal aantal concepten in de lijst en dat je daarnaast weet je ook dat je het einde van de lijst hebt bereikt doordat het resumptionToken aan het eind leeg is. Ik heb dit zo geïmplementeerd en tot mijn verbazing kreeg ik na de 172515 concepten die er zouden moeten zijn gewoon weer een token voor de volgende 100, en daarna weer.. en weer.
Uiteindelijk liep mijn test applicatie uit zijn geheugen na iets van 274000 concepten te hebben ingelezen.

Ik heb verder niet onderzocht wat ik er werd aangeboden maar het lijkt er in ieder geval op dat de completeListSize niet helemaal het juiste aantal aangeeft."

regards,
Willem