Теоретически - возможно лишить прав.в статье 69 СК есть пункт "отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;"В данном случае о временных опекунах- частных лицах речь не идет, но в некоторых случаях, когда  ситуация не предусмотрена законодательством, законы применяются по аналогии. Все зависит от судьи.