En 1999, Ehrhoff commence sa carrière professionnelle dans son pays natal avec le EV Duisburg et les Krefeld Pinguine. Avec ces derniers, il remporte le championnat d'Allemagne en 2003. Sélectionné par les Sharks de San José en quatrième ronde du repêchage d'entrée 2001 de la LNH, il évolue en Amérique du Nord à partir de la saison 2003-2004. Il passe un an et demi avec les Barons de Cleveland de la Ligue américaine de hockey, le club-école des Sharks, avant d'intégrer à plein temps l'effectif de la franchise de la LNH en 2005-2006. Après six années dans l'organisation des Sharks, il est échangé en 2009 aux Canucks de Vancouver, avec lesquels il joue deux saisons, étant désigné chaque année meilleur défenseur de l'équipe, et dispute la finale de la Coupe Stanley en 2011, perdue face aux Bruins de Boston. Durant l'été 2011, les Sabres de Buffalo lui font signer un contrat de dix ans. Devenu un agent libre en 2014 suivant le rachat de son contrat par les Sabres, il s'engage alors avec les Penguins de Pittsburgh.