Martin pensjonerte seg i 1961 med en karriere med gjennomsnitt på 0.257. Han traff 0.333 i 28 World Series spill for Yankees. Martin var godt kjent for sin drikking og sin ubehøvlede oppførsel når han hadde drukket mye. I 1957 møttes en gruppe Yankees-spillere på den berømte nattklubben Copacabana for å feire Martin's tjueniende bursdag, men de brøt til slutt ut i et mye omtalt slagsmål da Martin og hans medspillere utfordret noen fylliker som var av rasistisk art til en slåsskamp. En måned senere, bestemte daglig leder av Yankees, George Weiss, at Martin's utsvevende natteliv hadde en dårlig innflytelse på lagkameratene Whitey Ford og Mickey Mantle, og forviste ham til Kansas City. Martin følte seg forrådt av ledelsen og nektet å snakke stort med dem resten av året.