Isso não pode acontecer.
Os genitores devem cumprir fielmente aquilo que está determinado na sentença judicial.
Portanto, se o pai não devolver o filho no dia e hora fixados na sentença judicial, a mãe pode lavrar um boletim de ocorrência ou colher provas que o pai está descumprindo a ordem judicial.
Se o comportamento do pai for reiterado (ele está com o filho e descumpre o dia e hora de buscá-lo ou devolvê-lo à genitora), a mãe deve colher as provas, entregar para o advogado para que ele informe o magistrado sobre o ocorrido.
Nessa hipótese, é possível requerer a aplicação de multa ao pai toda vez que ele descumprir a decisão judicial que fixou a convivência.
Por outro lado, se o pai não devolve o filho, a mãe deve informar ao advogado para que ele possa requerer a busca e apreensão do menor, como forma coercitiva para que o pai devolva o filho à mãe guardiã, sem prejuízo de outros requerimentos, como, por exemplo, suspensão temporária das visitas, visitas monitoradas, etc.
Clique aqui para mais informações sobre busca e apreensão de menores.