Poco después de su nacimiento, la familia se mudó a Ámsterdam, donde Swybbertszoon prestó servicios hacia 1564 como organista en la Oude Kerk, donde el abuelo paterno y un tío también eran organistas.