El Palacio de Vargas es una finca de recreo de la familia real construida en el entorno de la Casa de Campo, cerca del río Manzanares. A lo largo de los años, las reformas y cambios en la estructura de esta mansión han sido numerosas. Hoy en día es propiedad municipal, incluyendo el jardín y las grutas de Felipe II.
Un lugar histórico que desde el Palacio Real se podía ver su ubicación, ya que se extendía casi hasta Torrelodones. Felipe II la compró en 1561 y aquí se encontró la iconografía de la casa con los cuadros de El Bosco y colecciones reales.
Aquí estaba la estatua de Felipe III, actualmente situada en el centro de la Plaza Mayor. Esta se construyó en Florencia en 1616, obra de Juan de Bolonia y Pietro Taca. Fue trasladada a Madrid y figuró en el Palacio de Vargas hasta finales del siglo XIX.
Posteriormente, Mesonero Romanos la trasladó a la Plaza Mayor y, como consecuencia de su simbolismo, estuvo guardada en un almacén durante la Guerra Civil. Al acabar la contienda, se volvió a sacar a la calle para colocarla en el lugar donde hoy la podemos ver.
Cuentan los cronistas de la época, que tras el alzamiento de la II República una persona metió un artefacto explosivo en la boca del caballo de la estatua. Para sorpresa de los presentes, dicen que la plaza se llenó de huesos pequeños, que luego descubrieron se trataban de los pájaros que anidaban ahí dentro.
Para que no volviera a ocurrir, se le encomendó al escultor Juan Cristóbal la tarea de sellar la boca del animal de la estatua para que los pájaros pudieran campar a sus anchas por la plaza Mayor.