Situata in un ambiente naturale di alta suggestione, l'abbazia si raggiunge percorrendo la Valle dei Grilli fino ad incontrare le Grotte di Sant'Eustachio, rifugi naturali usati come provvisoria dimora ( da cui il nome) dagli antichi tagliapietre. Il luogo, così selvaggio e isolato, fu abitato da eremiti fin dall'XI secolo. Risalgono alla fine del 1000 notizie riguardanti una donazione all'abate di San Michele in Dome, nome originario. Nel XII secolo risulta essersi unita all'abbazia di San Lorenzo in Doliolo, conservando sempre però una certa autonomia. Dopo un periodo di sviluppo si provvide ad un rifacimento delle strutture della chiesa che, quindi, nelle forme attuali, risalgono al XIII secolo. Nel 1305 I'abbazia risulta già abbandonata. I monaci si rifugiarono prima nella loro chiesa di san Nicolò a San Severino e poi a san Lorenzo in Doliolo. Nel 1860 il monastero venne restaurato per ordine dell'abate di San Lorenzo in Doliolo: oggi purtroppo rimane solo la piccola chiesa. L'interno dell'edificio è formato da due ambienti, uno con volta a crociera e I'altro naturale, ricavato nella roccia . La parete di sinistra presenta all'esterno in alto un rosone e, sotto di esso, due finestre lunghe strombate; la facciata presenta un piccolo atrio e un ingresso con portale in travertino, decorato con motivi geometrici e naturalistici. Accanto alla chiesa una grande grotta termina in un'ampia sala naturale. Oggi la struttura e l'ambiente circostante risulta essere in continuo degrado, deturpato da graffiti e da scritte su roccia realizzate da improbabili visitatori.