Han fridde minst to ganger til den to ganger fraskilte Betty White, som han hadde møtt i . Hun aksepterte til slutt, og de ble gift 14. juni 1963, og forble sammen til Luddens død. De opptrådte sammen i en episode av hvor også barna, Felix og Oscar deltok i . Ludden opptrådte også som paneldeltaker i , med White sittende i salen. De to opptrådte sammen som paneldeltakere i programmet i 1975 og i i 1980.