Francis Davis Millet est né à Mattapoisett dans le Massachusetts le . À seize ans, il entre dans le régiment du Massachusetts, tout d'abord comme tambour, puis comme assistant chirurgien (aidant son père lui-même chirurgien) dans la Guerre civile américaine. Il fait des études brillantes à l'Université Harvard avant de travailler comme reporter et éditeur pour le "Boston Courier", puis comme correspondant pour l"'Advertiser" à la Philadelphia Centennial Exposition.