Apabila Perang Bosnia bermula pada tahun 1990an, keluarga Lovren mula berpindah ke Munich, Jerman. Lovren baru berusia tiga tahun ketika keluarganya berpindah dari Yugoslavia. Beliau menghabiskan masanya selama tujuh tahun di Jerman. Bagaimanapun, keluarganya akhirnya terpaksa pulang ke Croatia kerana mereka tidak mempunyai dokumentasi yang diperlukan. Mereka sekeluarga menetap di Karlovac, Croatia, 50 kilometer barat daya ibu negara Zagreb.