Rochow, d'abord éduqué par des précepteurs, fréquenta ensuite pendant deux ans l'École des cadets de Brandebourg-sur-la-Havel, dépendant de la Cathédrale de Brandebourg et fit ses premières armes comme lieutenant dans les Garde du corps du roi pendant la guerre de Sept Ans. Blessé à la Bataille de Lobositz 1756 à la main gauche, puis ayant perdu la main droite dans un duel, il dut abandonner la carrière militaire. En 1759, il épousa Christiane-Louise von Bose (1734-1808). À partir de 1760 il se consacra à l'agriculture et aux sciences naturelles, devint en 1762 chanoine de Halberstadt et consacra dès lors aussi une partie de son temps à l'administration des domaines ecclésiastiques.