En el término de Torres se encuentra uno de los testimonios más antiguos de la presencia del hombre en la provincia, las pinturas rupestres de la Cueva del Morrón, de época paleolítica. 

El núcleo urbano de Torres debió tener su origen entre los siglos VIII y IX, en una de las numerosas alquerías o aldeas, que según las fuentes árabes poblaban la zona de Sumuntan (Sierra Mágina). Por su localización en zona de frontera entre musulmanes y castellanos tuvo una Edad Media muy azarosa, siendo varias veces conquistada por unos y recuperada por los otros. 

Torres fue conquistada por Fernando III el Santo e integrada en las tierras del Concejo de Baeza. En 1434 el rey Juan II la entregó a la Orden de Calatrava, que constituyó la Encomienda de Torres, Canena, Jimena y el Heredamiento de Recena. 

Durante el siglo XV Torres fue campo de batalla entre los Maestres de esta Orden y los partidarios de Enrique IV, encabezados por el Condestable don Miguel Lucas de Iranzo. Según las Crónicas en una de las correrías del Maestre de Calatrava, don Pedro Girón, se sirvió de la villa de Torres para refugiarse con ochocientos rocines, en sus correrías contra el rey y su condestable. Refugio que fue utilizado seis años después por don Juan de Mendoza, "Comendador de la Peña de Martos y de Torres e Ximena", en sus algaradas contra los moros de Granada. 

La vida para los habitantes de la localidad bajo el mandato de los comendadores no fue fácil, sobre todo bajo el mandato del comendador don Juan de Mendoza, que hasta tal punto extremó su tiranía sobre los habitantes y les infirió tales agravios y opresión, que en 1486 el Concejo expresó su descontento al Maestre de la Orden, consiguiendo que se firmase por ambas partes la llamada "Capitulación de Arjonilla". En virtud de estas capitulaciones se delimitaron los derechos y obligaciones recíprocos y se confirmaron los privilegios hechos a la villa por la Orden de Calatrava. Esta capitulación fue un triunfo de los Concejos españoles sobre el poder de las Órdenes. 

En 1538 Carlos V vendió Torres a su secretario Don Francisco de los Cobos, gran mecenas del Renacimiento en Úbeda y su comarca. Desde estas fechas la localidad formó parte del extenso señorío de Don Francisco de los Cobos, y después de sus descendientes, los Marqueses de Camarasa, hasta la extinción de los privilegios señoriales en 1812.