Την περιοχή βρίσκεται ένα ιδιαίτερης φυσιογνωμίας πετρόκτιστο κτίσμα, κοίλο και ανοιχτό, με χαρακτηριστική θολωτή καμάρα στο εσωτερικό του, το οποίο λειτουργεί ως ξωκλήσσι. Η έλλειψη τοίχου ή πόρτας στην ανοιχτή πλευρά του κτίσματος, του έδωσε και το προσωνύμιο Τρύπια Εκκλησία. Η κατασκευή του ανάγεται στους μεταβυζαντινούς χρόνους και η αρχική λειτουργία του πιθανολογείται ότι συνδέεται με την παρακείμενη δεξαμενή.
Αρκετά διαδεδομένη είναι η εκδοχή ότι εξυπηρετούσε ως δεξαμενή, για τις ανάγκες της Μονής Καισαριανής. Στην περιοχή υπάρχουν διάφορα υδραυλικά έργα, τόσο παλιά όσο και σύγχρονα, υπέργεια αλλά και υπόγεια, που αποσκοπούν στην συλλογή του νερού από τον υπόγειο υδροφορέα και την παροχέτευσή του για διάφορες ανάγκες. Λέγεται ότι στη θέση του ιερού κατέληγε και ανέβλυζε νερό προερχόμενο από ένα υδραγωγείο που ήταν πιο ψηλά.
Σε ένα από τα διηγήματα του Α. Παπαδιαμάντη, “Το θαύμα της Καισαριανής”, αναφέρεται αυτή η εκκλησία ως “σπηλιά”, με πλήθος κόσμου που ερχόταν για να πάρει το θαυματουργό αγίασμα από την πηγή: “Ήτον μία σπηλιά ωραία, στο βράχο τον θεόρατο, με χρώμα σταχτερό, που έσταζε δροσιές ολόγυρα. Μοσχοβολούσε ο τόπος από θυμάρια, από σκίνους κι αγριοδυόσμο. Κόσμος ένα πλήθος, γυναίκες ένα σωρό, άνδρες πολλοί και παιδιά ένα μελίσσι, άλλοι ορθοί, άλλοι καθισμένοι, μερικοί άρρωστοι, από διάφορες ασθένειες, μισεροί και σακατεμένοι, βρίσκονταν εκεί, κι έκαναν το σταυρό τους. Ένας παπάς με το πετραχήλι έστεκε στη μέση· είχε κάμει Παράκληση, και τώρα ήτον στο τέλος.
