Весной 1907 года Габаев внёс проект об организации юбилейно-исторического комитета гвардейских сапёр в преддверии 100-летия образования батальона и был избран заведующим собиранием материалов для истории и музея гвардейских сапёр. Основу музею составила коллекция материалов, собранная Габаевым с юнкерских лет и переданная им в дар батальону. К юбилею 27 декабря 1912 года музей был полностью подготовлен, также был напечатан 1-й том истории батальона. 2-й том истории был готов к лету 1914 года, но из-за начавшейся войны не отпечатан. Также к юбилею он способствовал переносу праха бывшего командира гвардейских сапёр К. А. Шильдера, погибшего в 1854 году под Силистрией, из Калараша (в то время Румыния) в Санкт-Петербург в церковь лейб-гвардии Сапёрного батальона.