Kong Frederik II befalte i 1572 at det skulle bygges et hus for nødstedte reisende på Sprogø, så de var sikret kost og losji. Han hadde selv under en reise fra Kolding til København i 1569 opplevd å sitte landfast på Sprogø uten å få verken vått eller tørt. Hans sønn Christian IV overnattet i losjiet under en reise i 1620. I 1810 satte engelskmennene fyr på alle Sprogøs bygninger, og under sin hjemreise fra forhandlinger om Kielfreden, tilbrakte Frederik VI i februar 1814 fem døgn på Sprogø under kummerlige forhold. I mai samme året fikk Generalpostdireksjonen ordre om å kjøpe Sprogø av stamhuset Juelsberg, og hente fem bindingsverksbygninger fra Korsør til losji for reisende. I 1822 fik postvesenet oppført en bygning kalt «Hotellet» med ti værelser for «penere reisende», og tyve loftsrom til resten. I 1853 var prisen for en overnatning på Sprogø i egen seng 64 skilling, men delte man seng med en annen, var prisen bare 48 skilling på hver. Plass i hengekøye eller på madrass kostet 32 skilling.