Albrecht war ein Sohn des Landrats des Kreises Dramburg und Herrn auf Zietensier Rudolf von Sydow (1776–1814) und dessen Ehefrau Luise Christine, geborene von Berg (1783–1856). Sein Vater starb als preußischer Leutnant an seiner in der Schlacht bei Dennewitz erlittenen Verwundungen. Der preußische Legationsrat Rudolf von Sydow (1805–1872) war sein Bruder.