Öfverste Ö:s familj blef snart den tongifvande på Fagerö.