Blant Grøgaards barn var sønnene Johannes Grøgaard, som fikk bygd den såkalte Carl Knudsen-gården (nåværende Lillesand by- og sjøfartsmuseum) i Lillesand, og Troels Christian Krogh Grøgaard, som fikk bygget deler av nåværende Tingsalen i Lillesand. Johannes' sønn, som var oppkalt etter bestefaren Hans Jacob, var forbilde for Knut Hamsuns figur «Minutten» i romanen .