En el inventario de 1701 no figura entre el grupo de paisajes con ermitaños o con escenas bucólicas, sino muchos asientos más adelante junto a Vista de la cascada de Tívoli con pescadores (P02068) -con el que coincide en medidas y tema-, y Paisaje con Santa María de Cervelló, hoy atribuido a Claudio de Lorena (P03259), lo que parece indicar que, al menos entonces, estaban colgados en un salón diferente.   Desde el interior de la llamada gruta de Neptuno, en Tívoli, se ve una pared con prominentes rocas, bajo la que se encuentran dos pastores y un rebaño de cabras. En su cima hay dos edificios, en el extremo más alejado sobresale el Templo de la Sibila.La cálida iluminación que unifica todo el conjunto permite, en efecto, relacionar este paisaje con Both. Asimismo, la montaña que cierra el fondo es similar a la que cierra el fondo de paisaje en Paisaje con pescadores y pastores a la orilla de un río (P02066).

Ingresó en el Museo como original de Jan Both y así se ha mantenido en los catálogos posteriores. Waddingham (1964), Burke y Barghahn (1986) aceptan esta atribución. En cuanto a las figuras, en los catálogos antiguos del Museo están atribuidas a Andries Both, atribución que Waddingham mantiene.

Si embargo, hay determinados elementos que permiten plantear la posible atribución a Jan Asselijn. en primer lugar, el tratamiento de las hojas del árbol entre los edificios no es el característico de Both, pero se puede relacionar, por ejemplo, con el árbol que asoma por encima de un arco en el dibujo Ruinas del Coliseo o del Teatro de Marcello en Roma de Jan Asselijn. Por otra parte, la tipología de las figuras, especial la del pastor que está de pie, es muy cercana a las figuras de Asselijn. Finalmente, entre los cuadros de Both conocidos no hay ninguna otra composición similar, mientras que los paisajes vistos desde el interior de una cueva (o a través de un arco) son muy frecuentes en Asselijn. es sabido que ambos coincidieron en Roma, donde salían a dibujar juntos del natural.

En 1701 figuraba todavía en el Palacio del Buen Retiro. En 1772 estuvo consignado en el Palacio Real de Madrid y en 1794, de nuevo en el Palacio del Buen Retiro. Ingresó en el Museo antes de 1834. Entre 1924 y 2006 estuvo depositado en el Palacio de Pedralbes en Barcelona.