Nacido en 1800 en el puesto militar de Fort Wayne, Indiana, era el hijo del mayor John Whistler (1756-1829) y de su esposa Anna Bishop. Fort Wayne en ese momento era parte del gran Territorio del Noroeste. Su padre había sido un soldado británico a las órdenes del general Burgoyne en las Batallas de Saratoga durante la Guerra Revolucionaria, para luego alistarse en el servicio estadounidense.