Swenneby har afsagt sig förtroendet att i Första kammaren representera Skaraborgslän.