अज्ञेय की चिंता इस बात को लेखर भी है कि गांधी मंदिर की स्थापना के लिए कुमारी मंदिर के निकट के समीप का स्थल को ही चुना गया ? निश्चित ही गांधी के प्रति भारत के लोगों में श्रद्धा एवं सम्मान का भाव है और रहना भी चाहिए। किंतु यही गांधी-मंदिर उस तट से कुछ दूर निर्मित होता तो भी उस मंदिर के प्रति लोगों का श्रद्धा-भाव कम नहीं होता बल्कि इससे वहाँ के प्राकृतिक सौंदर्य में और भी उन्नति हो सकती थी। इतिहास साक्षी है भारत में कई सुंदर एवं भव्य मंदिरों की स्थापना की गयी हैं पर किसी भी स्थल पर उनके कारण वहाँ का प्राकृतिक-सामंजस्य बिगड़ा नहीं है। बल्कि उनकी उपस्थिति से वहाँ का सौंदर्य और बढ़ा ही है। इसीलिए अज्ञेय लिखते हैं – “ कोई कारण नहीं था कि गांधी मंदिर तट-रेखा से कुछ अधिक दूर और कुमारी मंदिर से हटकर न बनाया जाता; उससे न उसक की प्रासंगिकता कम होती, न सुन्दरता, न अर्थवत्ता – हाँ, आंखों में उस की चुभन कुछ कम अवश्य होती।”15 किंतु यही बात वहाँ निर्मित विवेकानंद मंदिर के संदर्भ में नहीं कही जा सकती। क्योंकि विवेकानंद मंदिर की परिकल्पना वास्तुकला की दृष्टि से गांधी मंदिर से अधिक सुंदर है। किंतु यहाँ भी अज्ञेय को उस स्थल के मूल औचित्य के नष्ट होने की चिंता जरूर ज़ाहिर करते हैं। अज्ञेय मानते हैं कि विवेकानंद जिस एकांत की तलाश में वहाँ गये, और ध्यान मग्न होकर जिस विराट-सत्य का उन्होंने साक्षात्कार किया था, जिसके बाद वे अमेरिका जाकर शिकागों की धर्म सम्मेलन में विश्वप्रसिद्ध भाषण दिया था। उस स्थल के सौंदर्य एवं गौरव का महत्व हम नहीं समझ पाये हैं और उसे हम ने भीड़ एवं निरंतर आवाजाई का केन्द्र बना दिया है। और ऐसी व्यवस्था कर दी है कि फिर कभी कोई विवेकानन्द वहाँ न जाये, जाने की न सोचे। इस संदर्भ में अज्ञेय बिल्कुल ठीक लिखते हैं –“ निर्ममत्व से हमारा इतिहासबोध उसी चीज़ को मिटाता है जिसकी स्मृति को हम इतिहास में सुरक्षित करते हैं। आत्मा का तेज हमें सहन नहीं होता, अस्थियों के लिए हम मंजूषाएँ बनाते हैं।”16