Το 1834 η Αθήνα ανακηρύχθηκε επίσημα πρωτεύουσα του νέου ελληνικού κράτους. Όλες οι δημόσιες υπηρεσίες άρχισαν σιγά σιγά να μεταφέρονται από το Ναύπλιο στη μικρή νέα πρωτεύουσα και τότε προέκυψε η επιτακτική ανάγκη να βρεθούν κτήρια για να στεγαστούν. Στο πλαίσιο αυτής της προσπάθειας «αξιοποιήθηκαν» η παλιά εκκλησία της Αγίας Ελεούσας (προσωνύμιο της Παναγίας), καθώς και άλλοι ναοί, όπως ο Χριστός του Κοπίδη, που στέγασε τον Άρειο Πάγο.
Το κτήριο βρίσκεται στη διασταύρωση των οδών Αγ. Ελεούσης και Κακουργιοδικείου στην συνοικία του Ψυρρή. Ήταν μια εκκλησία «ευρύχωρη και καλοκτισμένη» της εποχής της Τουρκοκρατίας, όπου, σύμφωνα με τον Δημήτρη Καμπούρογλου, το 1770 είχαν ταφεί ο Πατριάρχης Ιεροσολύμων Παρθένιος ο Γερένης και λίγο αργότερα ο Προκόπιος Μακρής, πρόξενος της Αγγλίας στην Αθήνα. Κατά τη διάρκεια της Επανάστασης είχε καταρρεύσει η στέγη της. Το 1835 η κυβέρνηση αποφάσισε να στεγαστεί εκεί η έδρα του Κακουργιοδικείου Αθηνών. Το έργο ανέλαβε ο Δανός αρχιτέκτονας Κρίστιαν Χάνσεν, ο οποίος ουσιαστικά κατεδάφισε την πρόσοψη του ναού και την αντικατέστησε με μια λιτή, νεοκλασική πρόσοψη, χαρακτηριστική του πρώιμου αθηναϊκού νεοκλασικισμού. Στη συνέχεια διαμόρφωσε κατάλληλα το εσωτερικό του διώροφου κτηρίου για τη νέα του χρήση. Το κεντρικό τμήμα, αυτό που χτίστηκε πάνω στην τοιχοποιία της Αγ. Ελεούσας, είναι πιο προσεγμένο κατασκευαστικά και πιο ψηλό. Τα πλαϊνά είναι πιο χαμηλά και μάλλον πιο πρόχειρης κατασκευής. Το ιερό της εκκλησίας διατηρήθηκε στο πίσω μέρος του ισογείου και λειτούργησε ως εκκλησάκι του Κακουργιοδικείου. Το έργο ολοκληρώθηκε το 1837.
Οταν μετεγκαταστάθηκε το Κακουργιοδικείο, το κτήριο λειτούργησε ως αστυνομικός σταθμός, αργότερα στέγασε υπηρεσίες του Ληξιαρχείου και από το 1935 νοικιαζόταν για γραφεία και αποθήκες. Από την απαξίωση αυτή γλίτωσε όταν το 1955 περιήλθε στην ιδιοκτησία της Εκκλησίας της Ελλάδος. Στη συνέχεια στέγασε διαδοχικά τη ΧΕΕΝ και διάφορες φιλανθρωπικές και ιεραποστολικές οργανώσεις. Κατά το διάστημα αυτό το παλιό ιερό λειτούργησε πάλι ως εκκλησία.
Από το 1972 το κτήριο έμεινε αχρησιμοποίητο, αλλά το 1974 ανακηρύχτηκε ιστορικό μνημείο και διατηρητέο από το υπουργείο Πολιτισμού. Πολύ αργότερα, κατά τη δεκαετία του 2000, έγινε μια πλήρης μελέτη αποκατάστασής του, μετά από ανάθεση της Ιεράς Αρχιεπισκοπής Αθηνών, η οποία εγκρίθηκε από το υπουργείο Πολιτισμού. Σκοπός ήταν το αποκατεστημένο μνημείο να στεγάσει τη βιβλιοθήκη της Αρχιεπισκοπής. Λίγο αργότερα άρχισαν οι πρώτες εργασίες με την αφαίρεση των μεταγενέστερων προσθηκών από το κτίσμα και τη στερέωση και ενίσχυση της τοιχοποιίας. Το έργο, που χρηματοδοτήθηκε από δωρεά του Ιδρύματος «Σταύρος Νιάρχος», ολοκληρώθηκε και από το 2010 το κτήριο λειτουργεί ως βιβλιοθήκη της Αρχιεπισκοπής Αθηνών.
