Zimmer døde som viseadmiral den 5. september 1774 i Frederiksværn, hvor han ble begravet i kirken. Her ligger også hans kone, Ida Birgitte Johansdatter Brandt og en datter. Parets fire sønner ble alle sjøoffiserer. Og den yngste datteren Katharina Abigael Zimmer ble i ekteskap med generalmajor Otto Henrik Schleppegrell mor til den berømte generalmajor i den danske hær Friderich Adolph Schleppegrell, som falt ved Stolk i Istedslaget 25. juli 1850.