Johannes Haarklou var gift med Inga Marie Knoph (født 1865), og far til komponist og organist Andreas Haarklou. Han var god venn med folk som Anders Hovden, Per Sivle, Knut Hamsun og Lars Osa. I en periode bodde Knut Hamsun hjemme hos familien Haarklou. Fra ungdommen var han også kamerat av Olav Lofthus, mangeårig redaktør i Bergens Tidende.