Waldegrave est le fils de George Waldegrave (4e comte Waldegrave) et sa femme Élisabeth Laura Waldegrave. Ses parents sont cousins germains. Il fait ses études au Collège d'Eton. En 1802, il devient aspirant dans la Marine Royale, s'élevant au rang de lieutenant en 1806 et commandant en 1809. Il combat durant la Guerre anglo-américaine de 1812, commandant de la frégate HMS "macédonien" (qui plus tard est capturée par les États-Unis).