Perry kom tilbake til Japan den 13. februar 1854 med en enda større flåte, bestående av 8 krigsskip, og gjorde det klart at han ikke kom til å reise før en avtale var undertegnet. Forhandlingene begynte den 8. mars og fortsatte i om lag en måned. Japanerne gikk med på nesten alle kravene. Det største problemet var hvilke havn Japan skulle åpne, i og med at Perry motsatte seg hardnakket til å akseptere Nagasaki som et alternativ. Avtalen, skrevet på engelsk, hollandsk, kinesisk og japansk, ble undertegnet den 31. mars i Kanagawa, ikke langt fra det som i dag er byen Yokohama.