Ідея зведення меморіалу з'явилася в 1996 році під час церемонії, присвяченій військовополоненим на День пам'яти, на якій були висловлені побажання зведення відповідного пам'ятника австралійським військовополоненим і членам їх сімей. Виходячи з цих зауважень, пізніше був створений спеціальний комітет. Планування монумента на щотижневих засіданнях комітету зайняло 8 років. В цей час увійшли 6 років, які пішли на складання списку і з'ясування імен більш ніж 36 тисяч австралійців, які стали військовополоненими під час першої та другої світових, корейської воєн. Не були забуті і ті, хто брав участь в інших конфліктах, включаючи війни у ​​В'єтнамі, в Перській затоці, а також в миротворчій діяльності в усьому світі. Дана робота проводилася членами комісії у співпраці з істориками та співробітниками Австралійського військового меморіалу, Міністерства у справах ветеранів, Національного архіву, філій , газет і сайтів. Архітектурний проект пам'ятника був створений скульптором Пітером Бліззардом, відомим по втіленню замовлень уряду в Мельбурні та Сіднеї. На проектування та зведення пам'ятника, який сам Бліззард назвав «подорожжю в сад каменів», пішло близько 1,8 млн доларів. Була передбачена можливість додавання нових імен на стели меморіалу. Також, проект отримав 200 тисяч доларів від Співдружності націй, а в ході виборчої кампанії 2004 року, від керівництва Ліберальної партії - 290 тисяч, а Лейбористської - 150 тисяч.