Ole Thorkelsen var gift med Mathilde f. Mørk. De var foreldre til juristen Jens Hagbarth Thorkelsen, født 25. oktober 1852 på Hønefoss.