Charles Fremantle war der zweite Sohn von Vice-Admiral Thomas Fremantle aus dessen Ehe mit Elizabeth Wynne. Charles Fremantle war ein enger Gefolgsmann von Lord Nelson. Sein älterer Bruder war Thomas Fremantle, 1. Baron Cottesloe. Fremantle war ein Tagebuchschreiber. Seinen zweiten Vorname Howe erhielt er, weil er an einem Jahrestag des Sieges von Lord Howe über die Franzosen in der Seeschlacht am 13. Prairial in 1794 geboren wurde.