Von 1897 bis 1939 lebte Bielenstein als Maler und Zeichenlehrer in Riga. Im Jahr 1906 heiratete er Steffanie Auguste Valerie von Erdberg-Krczenciewski (* 1880), die ebenfalls lebhaft am kulturellen Leben in Riga teilnahm. Steffanie, auch "Stephanie" oder "Steffi" genannt, erscheint auf Gemälden verschiedener Künstler. Die Ehe blieb kinderlos und endete mit Steffanies Tod 1946. Durch die dem Hitler-Stalin-Pakt folgende Umsiedelung gelangte er nach Posen (poln. Poznań). Im Jahr 1945 geriet er nach der Flucht aus dem Warthegau nach Senftenberg, wo er im Jahr 1949 starb.