Imle arbeitete kurzzeitig in einer Maschinenfabrik in Remscheid. Er zog 1951 nach Flensburg und wurde dort Geschäftsführer der Industrie- und Handelskammer sowie Geschäftsführer der Wirtschaftsvereinigung Groß- und Außenhandel Schleswig-Holstein e.V., Bezirksvereinigung Flensburg. Von 1956 bis 1966 war er Vorsitzender des "Landesverbandes der Heimkehrer, Kriegsgefangenen und Vermißtenangehörigen", anschließend wurde er zum Ehrenvorsitzenden gewählt. Im Bundesverband war von 1960 bis 1976 Vizepräsident und anschließend bis 1982 Präsident. Auch hier wurde er zum Ehrenpräsidenten gewählt. Von 1970 bis 1986 war er Vorstandsvorsitzender der Heimkehrerstiftung. In diesen Funktionen engagierte sich Imle für die Freilassung deutscher Kriegsverbrecher, die im Ausland inhaftiert waren, darunter für Herbert Kappler, den ehemaligen Kommendateur der Sicherheitspolizei in Rom und Verantwortlichen für das Massaker in den Ardeatinischen Höhlen.