El castillo de Batres es uno de los más originales de toda la Comunidad de Madrid. En sus orígenes fue propiedad de los Señores de Batres. A finales del siglo XV, Sancha de Guzmán, la Señora de Batres, fue presionada por el rey Fernando El Católico para contraer matrimonio con Garcilaso de la Vega, destacado y valiente capitán militar. De este matrimonio, nació el famoso poeta.
El propio Garcilaso de la Vega y el escritor Fernán Pérez de Guzmán fueron dos de los moradores más famosos del castillo. El primero, aunque no llegó a heredar el título de Señor de Batres al no ser el primogénito, pasó muchas temporadas en el castillo convirtiéndose en uno de los grandes de la literatura castellana.
Por otro lado, Pérez de Guzmán fue el tercer Señor de Batres y cronista del rey Juan II de Castilla. Estuvo 18 años, se presupone que entre 1430 y 1458, 'desterrado' en la torre de Batres donde escribió 'Mar de historias' y 'Generaciones y Semblanzas'.
El castillo está construido en barro sobre cimientos de pedernal, en los siglos XV y XVI. Es uno de los mejor conservados de la región y fue declarado Conjunto Histórico-Artístico en 1970. Su torre del Homenaje tiene 25 metros de altura y su balconada de forja.
Sin embargo, el castillo original era distinto al actual. Se dice que solo se limitaba a la torre rodeada de algunas fortificaciones de defensa. El edificio residencial y el patio fortificado fueron añadidos posteriores. Los historiadores creen que se construyeron en dos fases distintas.
A finales del siglo XIX fue reconvertido en un secadero de tabaco y en la década de los 60 del pasado siglo lo adquirió un decorador madrileño quien lo restauró y amuebló. Actualmente, el castillo de Batres está alquilado a una cadena de servicios de catering y banquetes.