Det blef en tung tid för den lilla kolonien.