Nel 1006 San Romualdo scelse questo luogo come eremo dove rifugiarsi e accanto all'eremo volle edificare un monastero, che divenne ben presto piuttosto potente e ricco. Dopo circa due secoli e mezzo dalla morte del suo fondatore, la chiesa e parte del monastero furono riedificati. Nel 1427 il monastero venne unito all'abbazia di San Biagio di Fabriano, alla quale fu addirittura sottoposto nel 1652. Della chiesa, realizzata verso la metà del XIII secolo, non esistono più le prime due campate della navata longitudinale, in seguito ad un terremoto avvenuto nel XVIII secolo. La planimetria evidenzia uno schema a T, con un'unica navata longitudinale terminate con il transetto triabsidato. La cripta, per la sua semplicità, appartiene sicuramente alla primitiva costruzione voluta da San Romualdo. La sala del capitolo ed il chiostro conservano in parte le strutture del XIII secolo. L'abbazia conservò le spoglie del suo fondatore fino al 1481, anno in cui vennero trasferite nell'abbazia di San Biagio a Fabriano. Il complesso monastico, oggi di proprietà privata, è purtroppo chiuso al pubblico poiché, dopo il recente terremoto che ha colpito il centro Italia, richiede urgenti lavori di restauro.