違法にはなりません。そもそも、面会交流は、「両親から愛情を受けることは、子供の健やかな成長に資する」と考えられているために設けられた制度です。子供の福祉のための制度なので、子供が自分の意思で会いに来た以上、それを制限する理由はありません。