Идея возведения мемориала появилась в 1996 году во время церемонии, посвященной военнопленными на День памяти, на котором были высказаны пожелания возведения соответствующего памятника австралийским военнопленным и членам их семей. Исходя из этих замечаний, позже был создан специальный комитет. Планирование монумента на еженедельных заседаниях комитета заняло 8 лет. В это время вошли 6 лет, ушедшие на составление списка и выяснение имён более чем 36 тысяч австралийцев, ставших военнопленными во время , первой и второй мировых, корейской войн. Не были забыты и те, кто участвовал в других конфликтах, включая войны во Вьетнаме, в Персидском заливе, а также в миротворческой деятельности во всем мире. Данная работа проводилась членами комиссии в сотрудничестве с историками и сотрудниками Австралийского военного мемориала, Министерства по делам ветеранов, Национального архива, филиалов , газет и сайтов. Архитектурный проект памятника был создан скульптором Питером Близзардом, известным по воплощению заказов правительства в Мельбурне и Сиднее. На проектирование и возведение памятника, который сам Близзард назвал «путешествием в сад камней», ушло около 1,8 млн долларов. Была предусмотрена возможность добавления новых имён на стелы мемориала. Также, проект получил 200 тысяч долларов от Содружества наций, а в ходе , от руководства Либеральной партии — 290 тысяч, а Лейбористской — 150 тысяч.