Vợ ông, Lưu Thúy Phượng, cũng viết sách dạy nấu ăn. Những công thức nấu ăn của bà đã giúp quảng bá ẩm thực Trung Hoa ở Mỹ. Lâm Ngữ Đường viết lời giới thiệu cho một trong những bộ sưu tập ẩm thực Trung Hoa của con gái ông, Lâm Tương Như. Con gái thứ hai của ông, Lâm Thái Ất, là tổng biên tập tạp chí Readers’ Digest bản tiếng Hoa từ năm 1965 đến 1988.