Både män och kvinnor ägnar de yngsta barnen mest tid .