Die Familie stammte ursprünglich aus Eggiwil im Emmental und liess sich im 16. Jahrhundert in Thun nieder. Grossvater Kaspar Haldemann, ein Küfer, zog 1671 in die Romandie und erhielt das Bürgerrecht der Stadt Yverdon. Der Familienname wurde später in die französische Schreibweise Haldimand abgeändert. Vater François Louis Haldimand war Notar und Gerichtsherr. Sein Sohn strebte eine militärische Karriere an, doch schien diese in der Eidgenossenschaft eher unwahrscheinlich, weshalb er sich 1740 der Armee Preussens anschloss. Ein Jahr später war er an der Schlacht bei Mollwitz beteiligt, 1745 wahrscheinlich auch an der Schlacht bei Hohenfriedeberg und an der Schlacht bei Kesselsdorf.