Hermann Heinrich Ziegler var sønn av kammerråd og eier av Holleby gods, Jens Ziegler (1717–1786) og Berthe Sophie Heyer (1721–1796). Hermann Heinrich ble født på Lysgård i 1748.