Был женат на Каролине фон Кельхен († май 1841), дочери хирурга Ивана Захаровича фон Кельхена (1723-1810). Его старший сын, Александр Карлович Опперман, также был генералом русской армии и с отличием воевал на Кавказе; младший сын, Леонтий Карлович Опперман, с отличием участвовал в Крымской войне. Иустин Карлович Опперман был профессором Гёттингенского университета.