Søbygaard har tidligere hatt vesentlig innflytelse på Ærø. Utover Søbygård rommer området vollgravanlegget Søby Volde, som sannsynligvis ble etablert av kong Niels (1104-1134) som vern mot fremmede angrep. Mellom Søby volde og bunnen av Vitsø Nor ble det ved utgravninger i 1978 og 2004 funnet spor av middelalderbebyggelse, som viser, at det på 1100-tallet var en samlingsplass med handel og håndverkere.