Robinsons politische Laufbahn begann in Kalifornien. Dort wurde er im Jahr 1850 für ein Jahr in das Abgeordnetenhaus gewählt, wo er ein Anhänger von John C. Frémont wurde, der damals zum US-Senator ernannt wurde. Im Juli 1851 entschloss sich Robinson zur Rückkehr nach Fitchburg. Dort war er sowohl als Arzt und als Zeitungsverleger tätig. Zu dieser Zeit stand neben der nationalen Frage zwischen den Nord- und Südstaaten auch die Entwicklung im Kansas-Territorium im Blickpunkt des öffentlichen Interesses in den ganzen Vereinigten Staaten. Dort war es nach der Verabschiedung des Kansas-Nebraska Act Anfang 1854 immer wieder zu blutigen Ausschreitungen zwischen Anhängern und Gegnern der Sklaverei gekommen. Robinson, der auf seinem Weg nach Kalifornien auch durch Kansas gekommen war, berichtete in seiner Zeitung über die Vorgänge und entschloss sich dann selbst in dieses Gebiet zu ziehen. Am 28. Juni 1854 machte er sich auf den Weg in seine neue Heimat in Kansas. Dort wurde er sehr schnell ein engagierter Kämpfer der Anti-Sklaverei-Bewegung. Dadurch geriet er mitten in die Streitigkeiten. Er wurde von seinen Gegnern angegriffen, inhaftiert und sein Haus wurde zerstört. Auf der anderen Seite war er bei seinen politischen Freunden sehr beliebt.