Aunque actualmente se encuentre en ruinas, el castillo de Torrejón de Velasco sigue siendo una fortaleza imperecedera. Se encuentra a la salida del pueblo, en la carretera que conduce a Torrejón de la Calzada y al camino de Toledo.
Se cree que fue el Obispo de Palencia quien mandó llevar a cabo su construcción entre 1432 y 1440. A partir de 1460 y tras un asedio, se cambia de titularidad a un señorío además de gozar de favores reales. Es en este momento cuando se construye la nueva Torre del Homenaje.
A lo largo del siglo XVI fue usado como improvisada prisión. En 1522 sufre graves deterioros durante la Revolución Comunera contra Juan Arias. En 1526, Carlos V y Francisco I de Francia se alojan allí, con el objetivo de concertar un matrimonio entre el rey francés y Leonor, lo que hizo posible realizar una serie de reformas ofreciéndole al castillo un aire más palaciego.
A mediados del siglo XVIII, en su interior se instaló una fábrica de jabones y una hilatura de lana. Las áreas arqueológicas excavadas han servido para comprobar la existencia de un foso defensivo que presumiblemente circunda todo el perímetro del castillo.
Ya durante la Guerra Civil también fue objetivo de metralla y disparos que se pueden observar en la planta baja. Durante la batalla o en sus años posteriores debió venirse abajo la estructura de las plantas superiores. Actualmente, el castillo es de propiedad municipal y está prevista una remodelación.