Sachverhalt: A. X._ und Y._ (Beschwerdeführer) stellten am 30. Dezember 2010 beim Bezirksgericht A._ das Gesuch, es sei für eine Forderung von Fr. 155'538.50 nebst Zins der Liquidationsanteil von Z._ (Beschwerdegegner) an der ungeteilten Erbschaft des am 23. Oktober 2010 mit letztem Wohnsitz in A._ verstorbenen W._ (Vater des Beschwerdegegners) mit Arrest zu belegen. Als Forderungsgrund wurde das Urteil des Zivilgerichts Basel-Stadt vom 19. September 2002 angegeben, mit dem die Ehe des Beschwerdegegners mit der inzwischen verstorbenen Mutter der Beschwerdeführer geschieden worden war. Der Präsident I des Bezirksgerichts A._ erliess am 3. Januar 2011 den Arrestbefehl. B. Mit Einsprache vom 20. Januar 2011 verlangte der Beschwerdegegner, den Arrestbefehl aufzuheben und eventualiter, die Beschwerdeführer aufzufordern, die dem Arrestbefehl zugrunde liegenden Urkunden vorzulegen und ihm eine Frist zur Stellungnahme dazu einzuräumen. Mit Entscheid vom 22. März 2011 hiess der Präsident I des Bezirksgerichts A._ die Einsprache gut und hob den Arrestbefehl vom 3. Januar 2011 auf. C. Gegen diesen Entscheid erhoben die Beschwerdeführer am 31. März 2011 Beschwerde an das Obergericht des Kantons Aargau. Sie verlangten die Aufhebung des angefochtenen Entscheids und die Bestätigung des Arrestbefehls. Mit Entscheid vom 2. Juli 2012 wies das Obergericht die Beschwerde ab. D. Am 30. August 2012 haben die Beschwerdeführer Beschwerde in Zivilsachen erhoben. Sie verlangen, den Entscheid des Obergerichts vom 2. Juli 2012 aufzuheben und die Angelegenheit an die Vorinstanz zurückzuweisen. Eventualiter sei die Einsprache gegen den Arrestbefehl abzuweisen und der Arrestbefehl zu bestätigen. Zudem ersuchen sie um aufschiebende Wirkung. Das Obergericht hat auf Stellungnahme zum Gesuch um aufschiebende Wirkung verzichtet und der Beschwerdegegner hat um Abweisung des Gesuchs ersucht. Mit Präsidialverfügung vom 13. September 2012 ist der Beschwerde aufschiebende Wirkung zuerkannt worden. Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.