Landkommuner skulle egentlig ikke ha våpen, men Schmargendorf fikk likevel et våpen 9. mai 1903. Våpenet er skrådelt. I det øverste feltet er en voksen rød hjort med forgylt gevir, og i det nederste blå feltet en forsølvet lilje. Begge halvdelene symboliserer de familiene som engang eide Schmargendorf: Hjorten er våpenet til slekten som kom fraden bayerske Podewilslekten og liljen fra slekten von Wilmersdorf som i det 14. århundret ervervet deler av Schmargendorf.