纽约市立学院
米勒生于美国纽约市曼哈顿区约克维尔东85街450号。他的父母都是信奉信义宗的德国移民，母亲为路易丝·玛丽（Neiting），父亲海因里希·米勒是一名裁缝。他幼年曾在布鲁克林区威廉斯堡的Driggs大街第662号生活了9年，这个街区在当时被称为“第十四选区”，并经常出现在米勒的作品中。 1900年，他全家迁至布鲁克林不什维克区的Decatur街第1063号。小学毕业后，米勒入读威廉斯堡的。年轻的米勒热衷于参加美国社会党（他一度很崇拜黑人社会主义者）。米勒也曾经在纽约市立学院学习过一个学期。