Sachverhalt: A. A.a. Der serbische Staatsangehörige A.A._ (geb. 1966), der der ethnischen Minderheit der Roma angehört, ist seit dem 7. Juni 1993 mit der polnischen Staatsangehörigen B.A._ verheiratet. Aus dieser Ehe sind sechs Kinder hervorgegangen: C.A._ (geb. 1993), D.A._ (geb. 1994), E.A._ (geb. 1996), F.A._ (geb. 1997), G.A._ (geb. 2001) und H.A._ (geb. 2008). Die Kinder besitzen ebenfalls die polnische Staatsangehörigheit. Die Familie lebte zunächst längere Zeit in Deutschland, wo A.A._ verblieb, als seine Ehefrau und Kinder im Jahr 2002 nach Polen reisten. Während seines Aufenthalts in Deutschland zwischen 1995 und Juni 2006 wurde A.A._ wiederholt straffällig: - In den Jahren 1996 bis 1999 wurde er fünf Mal u.a. wegen Diebstahls und Urkundenfälschung zu Geldstrafen und einer dreimonatigen Freiheitsstrafe verurteilt. - Am 28. Mai 2001 verurteilte ihn das Amtsgericht Berlin-Tiergarten wegen Hehlerei in sechs Fällen zu einer Freiheitsstrafe von einem Jahr. - Am 16. Dezember 2002 folgte eine Verurteilung zu 22 Monaten Freiheitsstrafe wegen Urkundenfälschung und Betrugs in 19 Fällen und am 18. Februar 2004 kam es zu einer Verurteilung zu einer Freiheitsstrafe von viereinhalb Jahren wegen (versuchten) Betrugs in insgesamt 35 Fällen, worauf das Landgericht Berlin 2006 eine Gesamtstrafe von fünf Jahren und drei Monaten fällte. A.A._ wurde am 21. Juni 2006 von Deutschland nach Serbien abgeschoben. In Deutschland besteht nach wie vor ein Haftbefehl zum Vollzug einer Reststrafe von 808 Tagen. A.b. Am 14. Februar 2007 reiste A.A._ mit seiner Familie in die Schweiz ein und stellte ein Asylgesuch, welches das Bundesverwaltungsgericht mit Urteil vom 10. August 2011 letztinstanzlich abwies. A.A._ wurde auch in der Schweiz straffällig: - 25. Oktober 2007: Verurteilung durch das Verhöramt Obwalden zu 600 Stunden gemeinnütziger Arbeit, bedingt vollziehbar, und zu einer Busse von Fr. 1'000.-- wegen Diebstahls und Hehlerei. - 2. Juli 2009: Verurteilung durch die Staatsanwaltschaft des Kantons Solothurn zu vier Monaten Freiheitsstrafe bedingt und zu einer Busse von Fr. 400.-- wegen mehrfacher Widerhandlungen gegen das Ausländergesetz, das Strassenverkehrsgesetz und das Umweltschutzgesetz. - Mit Strafbefehlen vom 16. November 2011 und 1. Februar 2012 wurde er zu geringfügigen Bussen wegen Ungehorsams gegen amtliche Verfügungen verurteilt. - 13. Juni 2012: Verurteilung durch das Tribunal régional Jura bernois-Seeland Moutier zu einer Geldstrafe von 50 Tagessätzen wegen einfacher Körperverletzung und Ungehorsams gegen amtliche Verfügungen. - Seit dem 15. Januar 2013 befindet sich A.A._ in Untersuchungshaft wegen Verdachts auf Einbruchdiebstähle und Hehlerei. B. Am 3. August 2009 stellte die Familie A._ beim Amt für Migration und Personenstand des Kantons Bern, Migrationsdienst, ein Gesuch um Erteilung von Aufenthaltsbewilligungen EU/EFTA. Seit November 2010 lebt A.A._ getrennt von seiner Ehefrau und seinen Kindern. Die minderjährigen Kinder stehen unter der Obhut der Mutter. Mit Verfügung vom 20. Dezember 2011 verweigerte das Amt für Migration und Personenstand die Bewilligungen und wies die Familie unter Ansetzung einer Ausreisefrist aus der Schweiz weg. Die dagegen von der Familie A._ am 23. Januar 2012 erhobene Beschwerde hiess die Polizei- und Militärdirektion des Kantons Bern mit Entscheid vom 24. August 2012 insofern teilweise gut, als sie das Amt für Migration und Personenstand anwies, B.A._ und den fünf Kindern D.A._, E.A._, F.A._, G.A._ und H.A._ eine Aufenthaltsbewilligung EU/EFTA zu erteilen; soweit die Beschwerde A.A._ betraf, wurde sie abgewiesen. Berücksichtigt wurde dabei, dass der von der Sozialhilfe abhängige A.A._ seit 23. November 2010 nicht mehr mit seiner Familie zusammenlebte und straffällig wurde. Erfolglos beschwerte sich A.A._ dagegen beim Verwaltungsgericht des Kantons Bern. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Januar 2014 beantragt A.A._, das Urteil des Verwaltungsgerichts des Kantons Bern vom 20. November 2013 aufzuheben, dem Gesuch um Erteilung der Aufenthaltsbewilligung zu entsprechen, eventualiter die Sache an die erstinstanzliche Behörde zwecks Erteilung der Aufenthaltsbewilligung zurückzuweisen. Die Polizei- und Militärdirektion sowie das Verwaltungsgericht des Kantons Bern und das Bundesamt für Migration (heute: Staatssekretariat für Migration) schliessen auf Abweisung der Beschwerde.