La arquitectura del Palacio es italiana, en la que destacan sus dos escaleras principales, gemelas y simétricas. En Riofrío pasaron largas temporadas Francisco de Asís, esposo de Isabel II, Alfonso XII, tras la muerte de la Reina María de las Mercedes; de esos reinados data la decoración de las habitaciones reales que ocupan la mitad de la planta principal. En el resto de esta planta se puede visitar el Museo de caza, uno de los más importantes en su género.