Nei primi documenti l'abbazia è menzionata con il nome di San Vitale: il nome di San Ruffino fu aggiunto in un secondo momento. Fino al 1274 ebbe giurisdizione su diverse chiese dei dintorni, con diritto di giuspatronato comune con i signori di Smerillo e di Monte Passillo: nel 1495 venne data in commenda. La chiesa è a tre navate, suddivise da pilastri e con copertura a capriate. Le pareti del presbiterio sono arricchite da due affreschi del XIV e del XV secolo. La cripta, ripartita in cinque navate da colonne non molto alte con capitelli abbelliti da semplici decorazioni a foglia, conserva l'altare con il sarcofago di San Ruffino. Dalla navata sinistra si accede alla cappella ipogea a pianta cruciforme, terminante con un'abside: alle pareti si possono ammirare resti di alcuni affreschi presumibilmente risalenti al X secolo. Il campanile risale alla fine del XIV secolo.