In 1861 werd hij vervolgens tot consul benoemd en weer twee jaar later, op 7 juli 1863, werd hij aangesteld als politiek agent en tevens in de hoogste Nederlandse functie in Japan: consul-generaal. Op zijn terugweg van Nagasaki, waar hij het consulaat generaal had overgenomen van zijn voorganger J.K. de Wit, naar zijn standplaats Yokohama was De Graeff van Polsbroek aan boord van het Nederlandse korvet "Zr.Ms. Medusa" onder bevel van Luitenant ter zee François de Casembroot. In navolging van keizer Komei's bevel tot het verdrijven van de buitenlanders werd het schip die dag in de Straat van Shimonoseki beschoten door batterijen die de leenheer van Choshu in Nagato aan het strand had opgesteld, een provocatie waarbij 4 doden vielen. De provocatie zou mede leidden tot een gezamenlijke aanval van Nederlandse, Britse, Franse schepen en een Amerikaans schip op de batterijen in juli 1864 (Bombardement van Shimonoseki), waarna de leenheer van verder geweld tegen buitenlanders afzag.