Die Kirche wurde 1454 als Teil des Franziskanerordens gegründet und ging 1828 zu den Mönchen des Heiligen Philipp Neri über, die auch die Zurückgezogenen genannt werden und dem Ort den heutigen Namen gaben. Im Jahr 1912 wurde das Kloster auf Betreiben von Schwester Crocifissa Militerni, deren sterblichen Überreste 1940 auf den Gemeindefriedhof der nahestehenden Kirche verlegt wurden, zum Sitz des Konvikt der Schwestern des Heiligen Johannes des Täufers.
Von der ursprünglichen Klosterkirche sind nur noch der Atrium und das Steinportal erhalten. Letzteres ist von kleinen Säulen und Kapitellen mit Pflanzenmotiven und einem Spitzbogen gekennzeichnet.
Das Innere besteht aus einem Schiff, einem sich über dem Eingang befindenden Chor und einem mit Kreuzrippengewölbe bedecktem Presbyterium, in dessen Innerem der Hauptaltar steht.
Auf dem Altar steht eine marmorne Altartafel von hohem künstlerischem Wert: sie wurde 1533 von dem Toskaner Gian Battista Mazzolo angefertigt und ist von Kandelabern mit Groteskenmotiven umgeben. In ihrem Mittelteil steht die Madonna mit Kind auf einem Sockel mit Basrelief, der die Christ Geburt darstellt. In den Seitenräumen stehen Statuen vom Heiligen Franziskus und Heiligen Antonius, in der mittleren Lünette ist die Kreuzabnahme dargestellt und in den seitlichen das Paar der Verkündigung.
