Wilbye pasó su vida entera al servicio de la familia Kytson como músico interno del palacete de Hengrave Hall y después en Colchester desde 1628.