Han ble født i Göteborg og vokste opp på øya Vinga i Göteborgs skjærgård. I 1925 ble han gift med Astri Linnéa Mathilda Bergman. De fikk tre barn, den yngste sønnen var Sven-Bertil Taube (1934–2022). Evert Taube døde i Stockholm i 1976.