En lo que hoy es la Glorieta del Ángel Caído, se levantaron antaño varias construcciones. La más antigua de la que se tiene noticia es la Ermita de San Antonio Abad o San Antón. Tras su derribo, Carlos III (aquel rey napolitano que trajo a Madrid monumentos y la costumbre de hacer Belenes en Navidad) mandó edificar en su lugar la Real Fábrica de Porcelana del Buen Retiro.
Llegó la época oscura de la Guerra de la Independencia. La zona de la fábrica de porcelana era la que tenía una cota de mayor altura. Era, por lo tanto, ideal para construir un fuerte militar. Napoleón convirtió el Retiro en una fortaleza. Su cuartel general. Una ciudadela fortificada con un inteligente diseño de estrella de ocho puntas.
Tres millones y medio de cartuchos de fusil se usaron aquí. No es de extrañar que doscientos años después aún aparezcan balas y restos de material militar en esta zona. Sólo hay que cavar un poco. En las tapias del Retiro fueron fusilados muchos de los héroes del 2 de mayo. Recordemos que el Retiro entonces se expandía hasta el Paseo del Prado.