Secondo la tradizione l'abbazia fu eretta sulle rovine di un antico tempio pagano dedicato alla dea Feronia. Il nome "doliolo" deriverebbe dalla parola latina Dolium (botte) e trarrebbe origine dall'antica usanza di offrire nei giorni di festa ai fedeli più poveri cibo e bevende, queste ultime contenute in piccole botti. La cripta è l'elemento piu antico: una parte di essa è stata costruita tra il VI e I'VIII secolo e venne ampliata presumibilmente intorno al X secolo. La chiesa superiore, dell'XI secolo, fu costruita per dare piu spazio ai monaci; è a tre navate, con presbiterio sopraelevato ed un sistema di archi misto (tutto sesto e sesto acuto). Molto interessanti gli affreschi della cripta e della sagrestia attribuibili a Lorenzo Salimbeni, anche se purtroppo si presentano in modo estremamente frammentato: quelli ubicati nella cripta trattano della storia di sant'Andrea e sono caratterizzati da vivaci notazioni popolaresche. La sagrestia (XIII secolo) era il refettorio del monastero ed era completamente affrescata con scene della vita di sant'Eustachio. Alla semplice facciata è addossato, in posizione anomala, il campanile la cui parte inferiore, del XIII secolo, è in pietra bianca squadrata con cunei in marmo, mentre la superiore, del XIV secolo, è in mattoni, con quattro bifore e decorata da archetti trilobati sulla sommità.