Sachverhalt: A. Der 1972 geborene A.C._, pakistanischer Staatsangehöriger, reiste am 21. September 2000 illegal in die Schweiz ein. Nach Abweisung seines Asylgesuchs heiratete A.C._ am 23. November 2001 die Schweizer Bürgerin E._ (geb. 1940), worauf ihm eine Aufenthaltsbewilligung erteilt wurde. Am 22. November 2006 erhielt er die Niederlassungsbewilligung. Die Ehe mit E._ wurde am 29. September 2008 geschieden. Mit Verfügung vom 27. April 2009 widerrief das Migrationsamt des Kantons St. Gallen die Niederlassungsbewilligung von A.C._ wegen Eingehens einer Scheinehe - die Ehefrau hatte für die Heirat Fr. 20'000.-- und die Trauzeugin Fr. 2'100.-- erhalten - und wies ihn aus der Schweiz weg. Ein dagegen erhobener Rekurs wurde mit Entscheid des Sicherheits- und Justizdepartements des Kantons St. Gallen vom 1. Juni 2010 abgewiesen. Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Urteil vom 26. Januar 2011 ab; dieses Urteil erwuchs unangefochten in Rechtskraft. Während das Verfahren vor dem Verwaltungsgericht des Kantons St. Gallen hängig war, heiratete A.C._ am 1. Oktober 2010 die geschiedene Frau seines Bruders, die Schweizer Bürgerin B.D._ (geb. 1958). Diese reichte in der Folge ein Gesuch um Familiennachzug für A.C._ ein. Das Migrationsamt wies am 11. März 2011 das Gesuch um vorübergehenden Aufenthalt während der Dauer des Verfahrens ab. Die dagegen erhobenen kantonalen Rechtsmittel blieben erfolglos. Mit Urteil 2C_762/2011 vom 15. Juni 2012 hiess das Bundesgericht die dagegen gerichtete Beschwerde wegen Verletzung des rechtlichen Gehörs gut und wies die Angelegenheit zu neuem Entscheid an die Vorinstanz zurück. B. Während das Verfahren vor Bundesgericht hängig war, wies das Migrationsamt das Gesuch um Familiennachzug ab (Verfügung vom 3. Mai 2012). Der dagegen erhobene Rekurs beim Sicherheits- und Justizdepartement blieb erfolglos (Entscheid vom 26. Juli 2013). Die gegen den Departementsentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Urteil vom 16. April 2014 ebenfalls ab. C. A.C._ und B.D.C._ führen Beschwerde mit dem Antrag, das vorinstanzliche Urteil sei aufzuheben und A.C._ sei die Aufenthaltsbewilligung zu erteilen. Das Verwaltungsgericht des Kantons St. Gallen, das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration (seit dem 1. Januar 2015: Staatssekretariat für Migration SEM) beantragen die Abweisung der Beschwerde.