Ved den endelige utskillingen i 1859 tok kjøpmann Johan Berger over øya. Mens Melkøya stort sett hadde vært brukt til slåtteland, satte Berger opp en dobbel og en enkel rorbu av plank, og en bindingsgamme. Rorbuene ble brukt til utleie for seifiskere. Rorbuene ble satt opp i Normannsvika. Johan Berger, hans hustru Bernhardine Marie fra Christiania og barna brukte også øya til torvskur og bærsanking. I 1870 skal det ha vært mer enn 50 sauer på beite. Melkøya ble på denne tiden regnet som et godt rorsted, og hvert år var det fiskere som tinget seg fast plass der før sommerfisket etter sei tok til.