Sæther hadde ifølge Karin Sveens bok forfatteren Mark Twain og general Sherman blant sine bekjente. Sæther var avholdsmann og motstander av slaveriet. Forfatteren Walt Whitman var noen måneder redaktør for som hadde kontorer vegg i vegg med Sæthers bankfilial og bodde i nærheten av Sæther på Brooklyn. Forlagsmannen George William Childs (1829–1894) var venn av Whitman og Sæther.