Leif Kayser var sønn av geografen og riksstenografen Olaf Ivar Monrad Kayser (1893-1928) og Hedwig Martha Nick (1877-1972). Under sin skolegang på sang Leif Kayser i drengekor og lærte på den måte den gregorianske sang å kjenne. Av A. Menzinger, som var organist ved , mottok han sin første orgelundervisning.