Sing Sing
С ранних лет он начал преступную деятельность в Нью-Йорке. Однажды при аресте за проникновение со взломом, его обнаружили обутым в украденную пару обуви, причём оба ботинка были с одной ноги и не подходили по размеру. Лепке был отправлен в католический приют, где был охарактеризован как «неисправимый». К 1919 году, в возрасте 22 лет, он отбыл уже два срока в тюрьме Синг-Синг.