Han sluttet seg til NYPD den 19. oktober 1883 og under hans tjeneste som politi ble han venner med Theodore Roosevelt, som var politimester i New York City på denne tiden. Petrosino arbeidet sammen med flere italiensk-amerikanske detektiver som skulle håndtere den kriminelle virksomheten til organisasjoner som mafiaen, som Petrosino så på som en skam for alle anstendig italienere.