Гхатак родом из аристократической семьи, переехавшей в Калькутту незадолго до того, как туда от голода 1943 года и разделения Индии в 1947 году устремились миллионы беженцев. Это бегство вошло в его творчество метафорой гигантской реки. Отец Ритвика Гхатака был чиновником и писателем, писателем был и его старший брат Маниш, чья дочь Махасвета Деви стала известным бангладешским автором и общественной деятельницей.