Seine Schulzeit absolvierte Magnus Alexander Ludwig von Güldenstubbe in der öselschen Hauptstadt Arensburg, danach begann seine militärische Karriere. Von 1814 bis 1818 diente er im 1. Kadettenkorps in St. Petersburg und wurde zum Offizier ausgebildet. Ab 1819 war er als Leutnant Angehöriger im Wolhynische Garderegiment in Warschau. Seine erste Teilnahme an Kriegshandlungen fand 1831 im Dienstgrad eines Kapitäns gegen die aufständischen Polen statt, er nahm an der Schlacht bei Grochów teil. 1832 diente er als Oberst im Gardejäger-Regiment und 1834 wurde er Bataillonskommandeur im finnischen Garde-Regiment.