Wilbye var sønn av en garver og ble tatt under familien Cornwallis' vinger. Fra 1598 var han musiker i familien til grev Thomas Kytson (eller Kitson) på slottet Hengrave Hall i Suffolk. Kytsons hustru, Elizabeth, var en datter av huset Cornwallis, og da hun døde 1628, pensjonerte den ugifte Wilbye seg og flyttet til en annen av Cornwallis' døtre, Mary Darcy i Colchester, der han bodde til sin død.