Koole ble født i Zeeland i en politisk aktiv familie, som var tilhengere av det Anti-Revolutionaire Partij. Etter at Koole hadde fullført skolegang i Middelburg, flyttet han til Groningen der han frem til 1979 studerte samtidshistorie ved universitetet. Han gikk videre med et to-års studium i statsvitenskap ved Institut d'Etudes Politiques i Paris som ble avsluttet i 1981.