Kirken ble oppført på 1100-tallet og er usedvanlig stor i forhold til de omgivende landsbykirker. Det skyldes formentlig at Skibby i middelalderen ble regnet som kjøpstad. De eldste delene – apsis, kor og skip – er oppført i frådsten som på 1800-tallet ble belagt med hvitmalt semenptuss. Dette er senere fjernet fra apsis. Pekende mot den gamle landsbyen ligger våpenhuset i gotisk stil, oppført i rød munkesten. På skipets tak ved koret sto tidligere et lite tårn. I år 1700 bygget kirkeeierne Otte Krabbe og Birgitte Skeel et tårn i vest. Deres initialer ses som murankre og på sandstensrelieff på selve tårnet, mens parets speilmonogrammer skimtes på vindfløyen.