I 1885 ble en marmorbyste av ham i plassert i Sparebankens direksjonsværelse. Bysten var laget av billedhuggeren Jakob H. G. F. Fjelde (1859-96). Den ble stående i Sparebanken resten av Knudtzons levetid, men gikk tapt i bybrannen i 1940.