La primera referencia documental de este cuadro es el inventario de 1772 del Palacio del Buen Retiro, donde figura atribuido a Viviano Codazzi (1603/1604-1672) y las figuras a Aniello Falcone  (1607-1656). Sin embargo, tradicionalmente se ha considerado que esta vista arquitectónica formaba parte del conjunto de paisajes, con ermitaños y escenas bucólicas, encargados en Roma para la decoración del Buen Retiro, consignados en el inventario de 1701 de dicho palacio. Más aún, desde el trabajo de Barghahn (1986) se ha venido identificando con el asiento que precede a esos paisajes: "Una Perspectiva de dos varas y media de alto y siette quartas de ancho de la Yglesia de San Pedro de Roma echo en Roma Con marco tallado y dorado ttasada en sesentta doblones... 3.600", una identificación a todas luces errónea. Dicho asiento debe ser identificado con Interior de la basílica de San Pedro, de Roma, original de Filippo Gagliardus, firmado y fechado en Roma en 1640. Pero además, El jardín de Aldobrandini, en Frascati no puede ser identificado con ninguna de las cuatro vistas arquitectónicas de Viviano consignadas en el inventario de 1701, ni con ninguna otra de las recogidas en ese documento.

Esta pintura ingresa en el Museo como original de Jan Both, atribución que han mantenido los catálogos posteriores, si bien se consideraba que las figuras eran de Jan Miel (1599-1664), hasta el catálogo de 1996, donde se atribuyen a Andries Both (ca. 1612-1641). Valdivieso (1973), Salerno (1977-1978), Barghahn (1986), Capitelli (2005) siguen lo establecido en los catálogos antiguos. Sin embargo, Waddingham (1964) y Burke (1976) defienden la atribución de la escenografía a Viviano Codazzi y de las figuras a Andries Both. Burke (1976) las relaciona con las de la Galería Pallavicini, de Roma.

En 1772 figura en el Palacio del Buen Retiro, donde continúa en 1794. Es enviado, posiblemente, desde allí al Museo antes de 1834.