Neben seinem geschäftlichen Wirken war Kayser auch auf dem gemeinnützigen und kirchlichem Gebiet tätig. So wurde er im April 1892 als neues Mitglied der Gesellschaft zur Beförderung gemeinnütziger Tätigkeit aufgenommen. Er erwarb Grundstücke in St. Gertrud die dem Wohnzweck für seine Arbeiter dienen sollten. An Stelle des ausscheidenden Senators Kulenkamp als Vorsteher der Sammlung von Gemälden wurde Kayser als einer der drei möglichen Nachfolger für das Amt vorgeschlagen. Als 1917 die Kayser &amp; Co. seinen Standort in St. Lorenz aufgeben musste, wurde stattdessen das Hinterhaus des Hauptbürogebäudes bezogen. Kayser erwarb von den Kindern des am 22. April 1915 als Kompaniechef der 1. Kompanie im lübeckischen "Kinderregiment 215" beim Gasangriff am ersten Tag der Zweiten Ypernschlacht an der Yser gefallenen Landgerichtsrates Eduard Kulenkamp die einst von ihm erbaute Villa in St. Gertrud an der Ecke Kaiser-Friedrichstraße 15/Kaiser-Friedrich-Platz