Herb Alpert var gift med Sharon Mae Lubin fra 1956 til 1971. Sammen har de to barn, datteren Eden og sønnen Dore. Siden desember 1973 har Herb vært gift med sangerinnen Lani Hall, den originale frontfiguren i bandet , som ble populære på 1980-tallet. De har datteren Aria Alpert som er skuespiller.