Tony Torrilhon wurde in Melun bei Paris als zweites von sieben Kindern eines Ingenieurs geboren. Er wuchs seit seinem neunten Lebensjahr in Paris auf und legte dort 1949 sein Abitur ab. Danach absolvierte er ein Medizinstudium und wurde 1957 mit „summa cum laude“ an der Sorbonne mit einer Arbeit über die Pathologie bei Pieter Bruegel d. Ä. promoviert. In dieser Zeit begann er mit Aquarellmalerei und hatte erste Ausstellungen in Paris. Von 1958 bis 1960 absolvierte er seinen Militärdienst als Feldarzt in Algerien. Nach Ablauf des Militärdienstes beschloss er, nur noch von der Kunst zu leben, und studierte ab 1961 an der Accademia di Belle Arti in Florenz sowie von 1965 bis 1972 in Berlin an der Hochschule der Künste. Nach Abschluss des Studiums kehrte er 1972 nach Frankreich zurück. Er konnte dort aber weder künstlerisch noch persönlich Fuß fassen, sodass er nach etwa zwei Jahren erneut nach Berlin ging.