Su padre fue el comerciante Heinrich Escher (1776-1853), quien después de dos estadías en los Estados Unidos (1795-1806 y 1812-1814) adquirió una gran fortuna, y su madre fue Henriette Lydia Zollikofer.