Från den lilla båthamnen på holmen stälde tre män sin kosa till den grundmurade byggningen.