צולר נולד בוישגרד, הונגריה בשנת 1927. בילדותו למד כינור מאביו, שהיה כנר מקצועי. בעת לימודיו, הוא ניגן בפלוגלהורן ובס לפני שבחר לנגן בגיטרה. הוא נשר מבית הספר וניגן במועדוני ג'אז בבודפשט בזמן שרוסיה הטילה מצור על בודפשט וכבשה את הונגריה. הוא נמלט מהונגריה בשנת 1948 כאשר ברית המועצות ביססה שלטון צבאי קומוניסטי. הוא ברח ברגל, כשהוא נושא את הגיטרה שלו דרך ההרים, לאוסטריה. הוא התיישב בווינה, הפך לאזרח אוסטרי, והקים להקת ג'אז עם האקורדיוניסטית ונגנית הויברפון, ורה אאואר.