マルクスゼンはに生まれた。父はオルガニストのデートレフ・ヨハン・マルクスゼン、母はゾフィア・エレオノーラ・ヨハンナ・ミヒェルス（ミヒェルゼン）であった。マルクスゼンが初めて正式な音楽教育を受けたのは19歳の時で、指導を行ったのはハンブルクの作曲家、音楽教師だったであった。1830年からはウィーンへと移り、イグナーツ・フォン・ザイフリート、ジーモン・ゼヒター、カール・マリア・フォン・ボックレトらに師事した。1837年から1852年にかけてはハンブルクで音楽教師として働き、1830年から1854年まではゲオルク・マルクスゼンと共に同地の音楽教育機関の長も務めいていた。1834年11月18日、ウィーンから戻ったマルクスゼンはハンブルクで初めての演奏会を開催した。1842年には同年に発生した大火災によって援助を必要としていたハンブルク市のために北ドイツ音楽協会の委員となった。1855年から1887年にかけてはアルトナで音楽教師として活動し、門下からはフェルディナント・ティエリオやヨハネス・ブラームスらが輩出した。ブラームスはピアノ協奏曲第2番をマルクスゼンに献呈している。アルトナでは歌曲の会を創設、主宰し、ハンブルク作曲家協会では名誉会員に選ばれた。マルクスゼンは生涯未婚でアルトナに没した。