På 1930-tallet eide og drev Caldwell en liten bokhandel i Maine sammen med sin kone Helen. I 1939 giftet han seg med fotografen Margaret Bourke-White, som han utga tre fotodokumentarbøker sammen med. Dette ekteskapet varte til 1942.