ইতিহাসিক বর্ণনা থেকে জানা যায়, আঠার শতকের শেষের দিকে এই স্থানটিতে ঢাকার আর্মেনীয়দের বিলিয়ার্ড ক্লাব ছিল। ক্লাবটিতে বিলিয়ার্ড খেলা ছাড়াও র‌্যাকেট, টেনিস, ব্যাডমিন্টন খেলতো এবং আড্ডা দিতো। এখানে পার্টি-ফাংশনও আয়োজন করা হত। বিলিয়ার্ডের সাদা গোল বলগুলো ডিমের মতো দেখতে বলে-স্থানীয় বাঙ্গালিদের চোখে ছিলো অদ্ভুত রকমের 'ডিম’ যা আবার লাঠি দিয়ে ঠেলে খেলতে হয়! সুতরাং তারা এই ক্লাবের নাম দিল ‘আন্ডাঘর’! ধীরে ধীরে অপভ্রংশ হয়ে আন্ডাঘর উচ্চারিত হয় ‘আন্টাঘর’ নামে! পরবর্তীকালে অর্মেনীয়রা রাজনৈতিক এবং অর্থনৈতিক অবস্থান দুর্বল হয়ে পড়লে তারা ক্লাবটা বিক্রি করে দেয় ইংরেজদের কাছে। ইংরেজরা ক্লাব ঘরটা ভেঙ্গে একে খোলা পার্ক বানিয়ে ফেলে, তখন এটা পরিচিত হয়ে ওঠে ‘আন্টাঘর ময়দান’ নামে। সেখান থেকেই এসেছে ‘আন্টাঘর’ কথাটি। এর চারদিকে লোহার গ্রিল দিয়ে ঘিরে দিয়ে এর চার কোণায় চারটি দর্শনীয় কামান স্থাপন করা হয়। তখনো এর চারপাশে অনেক আর্মেনীয় বাস করত। আন্টাঘর ময়দানের প্রধান পৃষ্ঠপোষক ছিলেন ঢাকার নবাব আব্দুল গণি ও নবাব আহসান উল্লাহ। বিখ্যাত ইতিহাসবিদ জেমস টেলরের বর্ণনা অনুযায়ী ১৮৪০ সালেও এই স্থানটি ছিল কয়েকটি রাস্তার মাঝে এক টুকরো খালি জায়গায় বৃত্তাকার একটি বাগান। আন্টাঘরের পাশেই ছিল খোলামেলা একটি মাঠ। সিপাহি বিদ্রোহের পর ১৮৫৮ সালে ভারতে কোম্পানি-শাসনের অবসান ঘটে। ব্রিটিশরা সেনাবাহিনী, অর্থব্যবস্থা ও ভারতীয় প্রশাসন পুনর্গঠনে বাধ্য হয়। ভারত প্রত্যক্ষভাবে ব্রিটেনের রানির শাসনের অধীনে আসে। রানী ভিক্টোরিয়া ভারতবর্ষের শাসনভার গ্রহণ করার পর এই ময়দানেই সেই সংক্রান্ত একটি ঘোষণা পাঠ করে শোনান তৎকালীন ঢাকা বিভাগের কমিশনার। তারপর থেকে আন্টাঘর ময়দানের নামকরণ হয় ‘ভিক্টোরিয়া পার্ক’। ১৯৫৭ সালের আগে পর্যন্ত পার্কটি ‘ভিক্টোরিয়া পার্ক’ নামে পরিচিত ছিল। পার্কের এক পাশে রয়েছে একটি ওবেলিস্ক, যা ব্রিটিশ সাম্রাজ্য ও ভারতবর্ষের সম্রাজ্ঞী হিসেবে রানী ভিক্টোরিয়ার সিংহাসনে আরোহন মনে করিয়ে দেয়। কিন্তু তাতেও স্থানটির নাম স্থায়ী হয়নি।