Han var sønn av kaptein ved 1. Akershusiske infanteriregiment, Otto Harbou (født 17. mai 1659, død 8. juli 1723) og Sophie Kirstine f. Knoph. Han eide en del av Gravdal og Holt skog på grensen av Eiker skoger og Hoff. Han bodde i 1747 på Råen i Øvre Eiker.