Duke nació en Concord, Nuevo Hampshire, donde su padre, Richard Lederer, escritor y lingüista, enseñaba en La Escuela de San Pablo.