אנסטיס דליאס נולד בסמירנה, כבן בכור בין שלושה ילדים. במשפחתו היו עוד מוזיקאים מוכשרים. אביו, פנאיוטיס דליוס, שהתפרנס כסנדלר, היה גם נגן סנטורי ידוע בכל אסיה הקטנה תחת הכינוי "החתול השחור" ("או מברוס גאטוס"). אחד מהדודים היה הכנר העממי מיכאליס דליוס. בגיל 8, בשנת 1920, הגיעו אנסטיס ומשפחתו ליוון כפליטים עקב המלחמה בין יוון ובין טורקיה שהביאה לסיום היישוב היווני באסיה הקטנה. התיישבו בעיירה דראפצונה, סמוך לפיראוס.