Su padre, Peter Howard "Pete" Brubeck, fue ganadero, mientras que su madre, Elizabeth (de soltera, Ivey), quien había estudiado piano en el Reino Unido con Myra Hess y pretendía ser concertista, daba clases para obtener algún dinero extra.