Grimonis Eltern stammten aus Königsberg (Preußen). Getauft wurde er in der Schlosskirche. Als die Ostpreußische Operation (1945) der Roten Armee begann, floh seine Mutter mit vier Kindern nach Schleswig-Holstein. Nach dem Abitur in Bad Godesberg studierte Grimoni an der Rheinischen Friedrich-Wilhelms-Universität Bonn, der Philipps-Universität Marburg und der Westfälischen Wilhelms-Universität Münster evangelische Theologie. Nach dem Vikariat wurde er 1970 Pfarrer an der Marienkirche in Duisburg-Altstadt und an der Salvatorkirche (Duisburg). Er widmete sich der Kinder- und Jugendarbeit und richtete für Duisburg, Mülheim und Oberhausen eine Telefonseelsorge ein. Mit einem katholischen Amtsbruder betrieb er die Schließung von drei Luftschutzbunkern, die der Unterbringung von Obdachlosen diente. Selbst seit der Kindheit schwerhörig, übernahm er ab 1972 die Seelsorge für Schwerhörige und Gehörlose mit monatlichen Gottesdiensten und Ausflügen. Bei Behörden und Unternehmen half er oft in der Gebärdensprache. Er initiierte die Gründung der Duisburger Kommende des Johanniterordens. In der Bürgerinitiative Altstadt-West widmete er sich städtebaulichen Verbesserungen. Seine Sammlung Duisburger Archivalien übergab er 2014 dem Stadtarchiv Duisburg. Seit 2002 pensioniert, leitete er in der Nachfolge seines Vaters Erich Grimoni ehrenamtlich das Museum Stadt Königsberg. Es war damals im Besitz der Stiftung Königsberg und wurde 2016 aufgelöst. Die Bestände kamen in das Ostpreußische Landesmuseum, Lüneburg. Er ist stellvertretender Vorsitzender der Stadtgemeinschaft Königsberg und sitzt im Kuratorium der Stiftung Königsberg. Zum 200. Todestag von Immanuel Kant richtete er 2004 eine international beachtete Ausstellung im Museum Stadt Königsberg aus. Schirmherr war Peer Steinbrück. 2011 war Grimoni Gastgeber der Jahrestagung vom Arbeitskreis der Studentenhistoriker.