ক্যাসি ব্রিসবেন, কুইন্সল্যান্ড জন্মগ্রহণ করেন, তখন তাঁর নাম রিচার্ড গেভিন গার্ডিনার ক্যাসি ছিল, কিন্তু তিনি পরবর্তীতে ""গেভিন"" বাদ দেন। তাঁর পিতার নাম রিচার্ড গার্ডিনার ক্যাসি একজন অনুরাগী ধনী ব্যক্তি এবং আইরিশ বংশদ্ভুত কুইন্সল্যান্ড আইনসভার সদস্য ছিলেন। তাঁর মা, ইভলিন, অন্য আরেক ধনী অনুরাগী ব্যক্তি জর্জ হ্যারিসের কন্যা তিনিও কুইন্সল্যান্ড লেজিসলেটিভ কাউন্সিলের সদস্যছিলেন। তাঁর পিতা ১৮৯৩ সালে তাঁর পরিবারকে মেলবোর্নে নিয়ে আসেন এবং একজন সমৃদ্ধ কোম্পানির পরিচালক নিযুক্ত হন।