Sachverhalt:
A.
A.a. In der von B._ gegen A._ angehobenen Betreibung auf Grundpfandverwertung teilte das Betreibungsamt Birmensdorf am 4. Mai 2020 dem Schuldner und Pfandeigentümer sowie der Pfandeigentümerin C._ die Schätzung ihrer im hälftigen Miteigentum stehenden Liegenschaft in U._ in der Höhe von Fr. 5'045'000.-- mit.
A.b. Dagegen gelangten A._ und C._ an das Bezirksgericht Dietikon als untere kantonale Aufsichtsbehörde über die Betreibungsämter. Mit Teilurteil vom 27. August 2020 wies das Bezirksgericht ihre Beschwerde gegen die Schätzung ab. Das Gesuch um eine Neuschätzung behandelte es als Eventualbegehren und stellte es bis zum rechtskräftigen Entscheid über die Schätzung zurück.
A.c. Das Obergericht des Kantons Zürich als obere kantonale Aufsichtsbehörde über Schuldbetreibung und Konkurs wies die Beschwerde von A._ und C._ gegen das erstinstanzliche Teilurteil am 21. Oktober 2020 ab. Das Bundesgericht wies deren Beschwerde ebenfalls ab, soweit es darauf eintrat (Urteil 5A_944/2020 vom 5. Februar 2021).
B.
B.a. Nachdem A._ und C._ den Kostenvorschuss von Fr. 5'000.-- geleistet hatten, bezeichnete das Bezirksgericht am 11. Mai 2021 D._ als Sachverständigen und beauftragte ihn mit der Neuschätzung der Liegenschaft.
B.b. Mit Eingabe vom 31. Mai 2021 wandte sich A._ gegen den bezirksgerichtlichen Beschluss an das Obergericht und verlangte, einen anderen Sachverständigen vorzuschlagen. Am 18. Juni 2021 wies das Obergericht die Beschwerde ab, soweit es darauf eintrat und schrieb das Gesuch um aufschiebende Wirkung ab.
C.
A._ hat am 9. Juli 2021 Beschwerde in Zivilsachen erhoben. Der Beschwerdeführer beantragt die Aufhebung des obergerichtlichen Entscheides und die Rückweisung der Sache im Sinne der Erwägungen an die Vorinstanz.
Er ersucht um Gewährung der unentgeltlichen Rechtspflege.
Mit Verfügung vom 25. August 2021 wies der Präsident der II. zivilrechtlichen Abteilung das Gesuch des Beschwerdeführers um aufschiebende Wirkung ab. Die Begehren um Wiedererwägung dieser Präsidialverfügung wurden am 14. und am 27. September 2021 abgewiesen.
Das Bundesgericht hat die kantonalen Akten beigezogen, indes keine Vernehmlassung in der Sache eingeholt.

Erwägungen:
1.
1.1. Gegen den Entscheid einer oberen kantonalen Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen ist die Beschwerde in Zivilsachen unabhängig eines Streitwertes gegeben (Art. 19 SchKG i.V.m. Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c und Art. 75 BGG). Obwohl es um einen Ausstand geht, wird der angefochtene Entscheid als Endentscheid behandelt, da die Vorinstanz die Anordnung der Neuschätzung durch Sachverständige beurteilt hat (<ref-ruling> E. 1.2).
1.2. Der Beschwerdeführer hat als Betreibungsschuldner und hälftiger Pfandeigentümer ein schutzwürdiges Interesse an der Anfechtung des vorinstanzlichen Entscheides. Er ist daher zur Beschwerde berechtigt (Art. 76 Abs. 1 lit. b BGG).
1.3. Mit der vorliegenden Beschwerde kann insbesondere die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). In der Beschwerde ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG; <ref-ruling> E. 1 2). Die Verletzung verfassungsmässiger Rechte ist ebenfalls zu begründen, wobei hier das Rügeprinzip gilt (Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.4).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 BGG). Neue Tatsachen und Beweismittel sind nur soweit zulässig, als erst der vorinstanzliche Entscheid dazu Anlass gibt (Art. 99 Abs. 1 BGG), was in der Beschwerde näher auszuführen ist (<ref-ruling> E. 3).
2.
Anlass zur Beschwerde gibt die betreibungsamtliche Neuschätzung einer Liegenschaft. Strittig ist insbesondere, ob der vom Bezirksgericht als unterer Aufsichtsbehörde ernannte Sachverständige kompetent und unbefangen ist.
2.1. Gegen Vorschuss der Kosten kann jeder Beteiligte innert zehn Tagen bei der kantonalen Aufsichtsbehörde eine Neuschätzung durch einen Sachverständigen verlangen (Art. 9 Abs. 2 VZG). Eine Begründung hierfür braucht es nicht. Auch wenn die Beschwerde nach Art. 17 SchKG und das Gesuch um Neuschätzung nach Art. 9 Abs. 2 VZG an die gleiche (kantonale) Behörde zu richten sind, handelt es sich dennoch um zwei unterschiedliche Verfahren (<ref-ruling> E. 3.3.3).
2.2. Vor Erstellung der Neuschätzung ist den Parteien Gelegenheit zu geben, sich zur Person des von der kantonalen Aufsichtsbehörde vorgeschlagenen Gutachters zu äussern. Auf diese Weise können die Parteien ihr rechtliches Gehör wahrnehmen und insbesondere Einwände gegen dessen fachliche Eignung sowie allfällige Ausstandsgründe geltend machen. Um ersteres zu gewährleisten, müssen gewisse Mindestangaben über die Ausbildung und Qualifikation des Gutachters vorliegen. Nur so kann der Bedeutung einer Neuschätzung im Hinblick auf den späteren behördlichen Entscheid Rechnung getragen werden. Dies gilt umso mehr, als den Gerichten und den Parteien oft die Fachkunde fehlt, um das Gutachten inhaltlich umfassend überprüfen zu können. Im Hinblick auf Ausstands- und Ablehnungsbegehren gelten für die Sachverständigen dieselben Anforderungen wie sie für die Richter vorgesehen sind (<ref-ruling> E. 2.1.3). Keine geringeren Garantien müssen für Experten im Betreibungsverfahren oder die von der unteren Aufsichtsbehörde eingesetzten Sachverständigen zur Neuschätzung der Liegenschaft zur Anwendung gelangen. Das Gutachten darf nicht durch sachfremde, ausserhalb des Verfahrens liegende Umstände beeinflusst werden. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit erwecken. Für die Ablehnung ist nicht erforderlich, dass der Sachverständige tatsächlich befangen ist (vgl. Urteil 5A_789/2012 vom 24. Januar 2013 E. 2; Urteil 5A_864/2011 vom 16. März 2012 E. 4.2.1; allgemein <ref-ruling> E. 3.1).
2.3. Im vorliegenden Fall hat der Beschwerdeführer von seinem Recht Gebrauch gemacht, sich zur fachlichen Kompetenz des vorgeschlagenen Gutachters zu äussern. Er führte gegenüber dem Bezirksgericht im Wesentlichen aus, dass es sich bei D._ um einen Schätzer handle, dem es am regionalen Fachwissen und damit der notwendigen Qualifikation für die Beurteilung seiner Liegenschaft in V._ fehle.
2.3.1. Das Bezirksgericht hat zu diesem Einwand Stellung genommen und betont, dass es sich bei der vorgeschlagenen Person um einen erfahrenen Gutachter handle, der im ganzen Kanton Zürich einschliesslich der Region W._ Verkehrswertschätzungen erstelle. Beim Auszug aus der Homepage des möglichen Gutachters, auf welche der Beschwerdeführer hinweise, um dessen beschränktes Wirkungsfeld zu belegen, handle es sich um eine blosse Momentaufnahme. Der vorgeschlagene Schätzer arbeite gemäss den gängigen und zeitgemässen Bewertungsmethoden und berücksichtige die Art und Grösse der Liegenschaften. Zudem habe er auf telefonische Nachfrage die notwendigen Erfahrungen für die Annahme des Auftrags bestätigt.
2.3.2. Nach Ansicht der Vorinstanz setzt sich der Beschwerdeführer mit den einlässlichen Ausführungen der Erstinstanz nicht auseinander, sondern wiederholt lediglich seinen bereits vorgebrachten Standpunkt, dass der vorgeschlagene Gutachter die lokalen Begebenheiten nicht kenne. Vor Bundesgericht besteht der Beschwerdeführer darauf, gegenüber der Vorinstanz begründet zu haben, weshalb es für eine Schätzung von zentraler Bedeutung sei, dass der Sachverständige ein grosses Wissen über die getätigten lokalen Verkäufe der letzten Jahre verfüge; entgegen der Darstellung der Vorinstanz handle es sich nicht um blosse Wiederholungen von bereits Gesagtem. Genau dies trifft indes zu, betont doch der Beschwerdeführer nach wie vor bloss, dass es dem vorgeschlagenen Gutachter am regionalen Fachwissen und damit an der notwendigen Qualifikation für die Schätzung fehle. Damit kann der Vorinstanz nicht vorgeworfen werden, zu strenge Begründungsanforderungen an die Beschwerde (vgl. LORANDI, Betreibungsrechtliche Beschwerde und Nichtigkeit, 2000, N. 43 zu Art. 20a) gestellt zu haben und die Vorbringen des Beschwerdeführers samt Beweisofferte zur Person des Gutachters (Auszug aus dessen Homepage) übergangen zu haben. Die Rüge des Beschwerdeführers erweist sich als haltlos.
2.4. Zudem erachtet der Beschwerdeführer den vorgeschlagenen Gutachter als befangen. Er begründet diesen Vorwurf mit dem Umstand, dass das Betreibungsamt ihn vor Erteilung des Schätzungsauftrags telefonisch kontaktiert und ihm die Schätzung der Liegenschaft vom 23. Juni 2017 ausgehändigt habe.
2.4.1. Den vorinstanzlichen Ausführungen lässt sich entnehmen, dass ein möglicher Gutachter üblicherweise vorgängig angefragt wird, ob er den Auftrag annehmen könne. Zudem erlaube die Einsicht in die bereits erstellte Schätzung, dortige Erkenntnisse über die Liegenschaft wie Pläne und Grundbuchauszüge bei der Neuschätzung zu berücksichtigen, was sich auch auf die Kosten auswirken könne. Der Vermeidung unnötiger Kosten sei auch mit Blick auf die beschränkte Bedeutung der Schätzung im Rahmen der Grundpfandverwertung Rechnung zu tragen. Konkrete Anhaltspunkte, dass der vorgeschlagene Sachverständige keine fachlich korrekte Schätzung vornehmen könne, bestehen nach Ansicht der Vorinstanz keine. Von ihm werde in jedem Fall, auch nach Einsicht in die bereits erstellten Unterlagen, erwartet, dass er nach bestem Wissen und Gewissen arbeite, wozu er unter Strafandrohung verpflichtet sei. Konkrete Umstände, die auf eine Voreingenommenheit hinweisen könnten, seien weder dargetan noch ersichtlich.
2.4.2. Was der Beschwerdeführer diesen Argumenten entgegenhält, erschöpft sich in blossen Behauptungen. Dies gilt insbesondere für die (unqualifizierte) Aussage, der vorgeschlagene Sachverständige gehe bei der Annahme des Auftrags nur vom eigenen wirtschaftlichen Interesse aus. Auch der Vorwurf des Beschwerdeführers an das Bezirksgericht, es habe dessen Unabhängigkeit "sehr wohl ramponiert", weshalb er als Schätzer untragbar sei, erweist sich als haltlos. Völlig an der Sache vorbei gehen die Berechnungen des Beschwerdeführers zum möglichen Verwertungserlös seiner Liegenschaft. Er verkennt, dass es vorliegend einzig um die Person des Sachverständigen geht. Dass der Schätzung im Rahmen einer Grundpfandverwertung bloss eine beschränkte Bedeutung zukommt, hat die Vorinstanz nur im Hinblick auf die anfallenden Expertenkosten und die Bezugnahme auf vorhandene Unterlagen erwähnt. Auf all diese Vorbringen sowie auf den nebenbei geäusserten Antrag, die Verwertung der Liegenschaft sei im Interesse aller zu sistieren, ist nicht einzugehen. Daran kann auch der wiederholte Vorwurf des Beschwerdeführers, der Grundsatz der Verhältnismässigkeit sei verletzt und der Sachverhalt von der Vorinstanz falsch festgestellt worden, nichts ändern.
3.
Nach dem Gesagten genügt die Beschwerde den Anforderungen an eine rechtsgenügliche Begründung auf weiten Strecken nicht, weshalb sie abzuweisen ist, soweit darauf eingetreten werden kann. Zufolge Aussichtslosigkeit der Begehren ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (Art. 64 Abs. 1 BGG). Ausgangsgemäss trägt der Beschwerdeführer die Verfahrenskosten (Art. 66 Abs. 1 BGG). Zudem schuldet er dem Beschwerdegegner eine angemessene Parteientschädigung für seine Stellungnahme zum Gesuch um aufschiebende Wirkung (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 400.-- zu entschädigen.
5.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, II. Zivilkammer als oberer kantonaler Aufsichtsbehörde über Schuldbetreibung und Konkurs und dem Betreibungsamt Birmensdorf schriftlich mitgeteilt.
Lausanne, 27. Oktober 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Levante