Den 9. november 1843 forlot Cooper Sag Harbor som kaptein på «Manhattan», en hvalskute på 440 tonn. 14–15. mars 1845 plukket «Manhattan» opp 22 japanske sjømenn som hadde lidd skipbrudd ved noen øyer sør for Japan. Utenfor Tokyobukta tok noen av japanerne en båt inn til land med beskjed om at Cooper ønsket å overlevere de resterende i havna. Japanerne avstod vanligvis kontakt med fremmede på grunn av Tokugawa-shōgunatets isolasjonspolitikk.