Լի Կուան Յուի պապիկների հարստությունը նվազեց մեծ ճգնաժամի ընթացքում և նրա հայրը դարձավ աղքատ խանութպան։ Լիի մորաքույրը պրակտիկա վարող առաջին կին բժիշկն էր Սինգապուրում։ Լի Կուան Յուն մի անգամ նշել է, որ իր հոր անհանդուրժող բնավորությունից տուժել է ողջ ընտանիքը, ինչը դաս է եղել Լի Կուան Յուի համար երիտասարդ հասակից վերահսկել իր վարքագիծը ։ Լին և նրա կինը՝ Կվա Գեոկ Չուն, ամուսնացան 1950 թվականի սեպտեմբերի 30-ին։ Լին և Չուն երկուսն էլ անգլախոս էին՝ անգլերենը նրանց առռաջին լեզուն էր։ Լին սկսեց չինարեն սովորել 1955 թվականին 32 տարեկանում։ Նա ճապոներեն սովորեց հասուն տարիքում և Սինգապուրի Ճապոնական օկուպացիայի ընթացքում աշխատում էր որպես թարգմանիչ ։ Լին ու Կվան երկու որդի և մի դուստր ունեցան։ Լիի ավագ որդին, Լի Հսյան Լունը նախկին բրիգադի գեներալ, 2004 թվականից Սինգապուրի վարչապետ։ Լիի ընտանիքի մի քանի անդամներ Սինգապուրի հասարակության մեջ հայտնի դիրքեր են գրավում։ Նրա կրտսեր որդին նույնպես նախկին բրիգադի գեներալ և ՍինգՏել-ի նախկին գործադիր տնօրեն։ Այժմ նա Սինգապուրի ավիացիայի վարչության նախագահն է։ Լիի դուստրը Լի Վեյ Լինը Ազգային Նևրոգիտական ինստիտուտի տնօրենն է։ Լի Հսյան Լունի կինը, Հօ Չինը Տեմասեկ Հոլդինգի գործադիր տնօրենն է։ Լիի կինը մահացել է 2010 թվականի հոկտեմբերի 2-ին։