Mihhail Kaaleste wurde unter dem Namen Michail Stoljar geboren und entstammte einer russischen Familie, die ihren Namen 1940 in "Kaaleste" ändern ließ. Er begann während seiner Zeit bei der Armee, Sport zu treiben. Zunächst versuchte er sich im Zehnkampf sowie im Skilanglauf, bevor er sich 1952 dem Kanurennsport widmete. Gemeinsam mit Anatoli Demitkow errang er bei den Olympischen Spielen 1956 die Silbermedaille im Zweier-Kajak über 1000 Meter. 1957 wurde er ein derselben Disziplin Europameister. Bei den Weltmeisterschaften 1958 gewann Kaaleste zweimal Bronze über 1000 Meter: mit Anatoli Demitkow im Zweier-Kajak sowie mit Demitkow, Igor Pissarew und Anatoli Troschenkow im Vierer-Kajak. Für die Olympischen Spiele 1960 wurde Kaaleste jedoch nicht mehr berücksichtigt. Er gewann zwischen 1954 und 1962 insgesamt sechs sowjetische Meistertitel im Kajak sowie 1955 eine Bronzemedaille in der 4x10 km Staffel im Skilanglauf. Ab 1964 trainierte er zunächst die Skilangläufer und später die Biathleten von Dynamo Leningrad.