При расторжении брака, если вы или отец не подавал искового заявления об опредлении порядка встреч, это не будет рассматриваться. Если хотите - подавайте иск, либо поставьте отца ребенка перед фактом, чтобы он сам подавал иск, если его не будет устраивать такое общение. Если отец к ребенку регулярно приезжает, может это и неплохо.... Вы уверены, что отец причинит ребенку вред, если будет с ним гулять?