Albert Cammermeyers farfars far var Johan Sebastian Cammermeyer (1730 – 1819) som kom fra København til Bergen i 1754 og ble først gift med Maren Heiberg (1742 – 1812) og således morfar til Johan Sebastian Cammermeyer Welhaven (se slekten Heiberg). Etter Marens død giftet han seg med Anne Gude, de fikk Johan Siegfried Cammermeyer (1757 – 1844), Alberts farfar. Albert Cammermeyers far var distriktslegen Johan Widing Heiberg Cammermeyer (1805 – 56) som hadde praksis i Innvik 1836 – 41 og i Eid i Nordfjord 1841 – 55 inntil han døde av bronkitt. Hans mor var Karen Sofie Sehested Arctander (1809 – 72). Albert flyttet i 1854 til morens familie i Drammen. Etter farens død i 1856 flyttet også resten av familien til Drammen.