Ці стосунки незабаром перейшли у любовний зв'язок. Яна посадили у в'язницю, звідки його звільнили після довгих прохань і скарг його дружини, Марії Пейпелінкс, і відправили у заслання. Місцем заслання стало невелике містечко Зіген, в якому Ян Рубенс прожив зі своєю сім'єю з 1573 до 1578 року, і де, ймовірно, 29 червня 1577 року, народився майбутній великий живописець.