Далеко не всегда.  Иногда их просто не могли взять дети.  Предположим - была одна дочь, бесприданница, ее взял замуж кто-то.  У него и свои родители были.  А дочь.... ну, могла с разрешения мужа навестить иногда родителей.  Это даже не считалось - бросить родителей, потому что она не была в позиции "я могу, но не хочу".