Otto Rehbinder oli kotoisin köyhästä aatelisperheestä Pohjois-Savosta. Rehbinder-suvun perinteiden mukaisesti hän lähti sotilasuralle ja pääsi Haapaniemen kadettikoulun käytyään esikuntapalvelukseen Pietariin. Hän osallistui taistelutoimintaan muun muassa 1828 Kreikan vapaussodassa, jossa haavoittui vaikeasti, sekä 1830 Puolan kapinan kukistamisen yhteydessä. Erottuaan sotapalveluksesta 1835 everstin arvoisena hänen sukulaisensa, ministerivaltiosihteeri Robert Henrik Rehbinder, auttoi häntä saamaanPietarissa olevan Suomen passiviraston apulaispäällikön viran.