Fra 1973 til 1993 var Grytten bestyrer for Aalesunds Museum. Han er kjent som ekspert på Ålesunds historie, og har utgitt en rekke bøker om byen Ålesund og folket der. Gjennom sitt virke som museumsmann arbeidet han for bevaring av det opprinnelige bygningsmiljøet i Ålesund, og har mye av æra for at ålesunderne gjenoppdaget jugendstilen som preget mye av bysentrum slik det ble reist etter bybrannen i 1904.