Männen, en 27-årig algerier och en 22-årig nigerian, greps förra månaden misstänkt för att ha planerat en terrorattack.
En pistol och en flagga av den så kallade islamiska staten hittades i deras hem under polisräder i centrala staden GÃöttingen.
Men männen har aldrig blivit åtalade.
De straffrättsliga förfarandena lades ner eftersom polisen aldrig fastställde om de misstänkta hade planerat att genomföra en attack.  Polisen säger att de två männen är "farliga".
Niedersachsens inrikesminister Boris Pistorius sade att deportationerna skulle äga rum så snart som möjligt, och definitivt före mitten av april.
Han sade att diskussioner redan pågår med Algeriet och Nigeria för att underlätta detta, och att de två männen skulle bli föremål för ett "livslångt förbud mot återinträde", vilket förhindrar deras återvändande till Tyskland.
Det var inte omedelbart klart om de två männen skulle överklaga beslutet.
Tyskland bestämmer medborgarskap av nationaliteten hos en eller båda föräldrarna och även en persons födelseort.
Landet har varit mycket uppmärksamt sedan Berlins julmarknad attack den 19 december, som gjorde 12 människor döda och dussintals skadade.
Tyskland säger att det kommer att deportera två män födda i landet men vars föräldrar är utländska - det första fallet i tysk historia.