Lindeman ble gift med Anne Severine Hickmann i 1802, og tilsammen fikk de fem sønner. Av disse ble hele tre organister, mens én ble prest og en annen lege. Den eldste sønnen, Frederik Christian, etterfulgte faren i Vår Frue kirke, Just Riddervold ble organist i Domkirken og Ludvig Mathias reiste til Vår Frelsers kirke i Oslo. Sistnevnte var far til musikkpedagog Peter B. Lindeman, som ledet Musikkonservatoriet i Oslo i mange år, og organist Kristian T. M. Lindeman som overtok som organist etter sin onkel i Domkirken.