Il signala son passage au gouvernement par le rôle important qu'il joua dans la préparation et la conduite de l'expédition d'Alger. Avec ses collègues Bourmont, Courvoisier et Guernon-Ranville, il contribua à faire révoquer le traité d'abord conclu avec les envoyés du pacha d'Égypte, Méhémet Ali, en vertu duquel ce dernier était chargé de courir sus aux pirates d'Afrique et de venger le coup d'éventail donné par le dey d'Alger au consul de France. Dès qu'il eut été décidé que la France s'armerait elle-même pour sa propre querelle, l'Angleterre demanda vainement des explications, se plaignit et recourut même à la menace. La France lui fit connaître que le roi ne déposerait les armes qu'après avoir atteint le double but qu'il s'était proposé, à savoir le redressement des griefs, cause immédiate des hostilités, et, en second lieu, le triomphe des intérêts communs à toute la chrétienté. Cette attitude irrita profondément l'Angleterre. À Paris, l'ambassadeur d'Angleterre, sir Charles Stuart, essaya d'intimider le baron d'Haussez dans des entretiens semi-diplomatiques. Mais le ministre de la Marine repoussa ces démarches et l'on dit même que, dans la conversation, irrité du ton tranchant de l'ambassadeur, il lui déclara : « Si vous désirez une réponse diplomatique, M. le président du conseil vous la fera. Pour moi, je vous dirai, sauf le langage officiel, que nous nous f*** de vous ! ».