Milles var sønn av løytnant Emil «Mille» Andersson og hans ektefelle Walborg Tisell. Moren døde i barselseng i 1875. Milles hadde da to søsken og fikk senere tre halvsøsken etter at faren giftet seg på nytt. To av Milles søsken arbeidet innen kunst: søsteren Ruth Milles (1873–1941) ble billedhugger og halvbroren Evert Milles (1885–1960) ble arkitekt.