তবে ঠাকুমার সঙ্গে বেশিদিন থাকতে হয়নি আশাপূর্ণা দেবীকে। মাত্র সাড়ে পাঁচ বছর বয়সে বাবা-মার সঙ্গে আপার সার্কুলার রোডে (বর্তমানে আচার্য প্রফুল্লচন্দ্র রায় রোড) চলে আসেন। এক সাক্ষাৎকারে তিনি বলেছিলেন, “ছোটোবেলা থেকে বেশ ডাকাবুকো ছিলাম। ছেলেদের সঙ্গে পা মিলিয়ে ঘুড়ি ওড়াতাম, খেলতাম।” একবার তো রবীন্দ্রনাথ ঠাকুরকে চিঠিও লিখে পাঠিয়েছিলেন। সেই চিঠির উত্তরও পেয়েছিলেন। এরপর মাত্র ১৫ বছর বয়সে কৃষ্ণনগরের বাসিন্দা কালিদাস গুপ্তর সঙ্গে বিয়ে হয় আশাপূর্ণা দেবীর।