August war der Sohn des preußischen Majors Karl Bernhard von Sommerfeld (1739–1817) und dessen Ehefrau Maria Luise Dorothea, geborene von Pirch (1752–1797). Sein Vater war während des Ersten Koalitionskrieges für sein Verhalten im Gefecht bei Bitch mit dem Orden Pour le Mérite ausgezeichnet worden. Die Schwester Auguste (1792–1875) war mit den Generalmajor Konrad von Zedlitz und Neukirch verheiratet.