Hartvig Bille ble gift med Anne Nielsdatter Kaas, som var født i Aarhus. Hun stammet fra adelslekten Kaas, og det er videre kjent at hun ble begravet den 26. juli 1650. Sammen fikk de barna Niels (født 6. januar 1620 i København, død 22. desember 1643 i Roma), Hilleborg (år for fødsel og død ukjent) og Karen (år for fødsel ukjent, død etter 1662 i barselseng).