En las inmediaciones de Castellar se localiza uno de los grandes centros de culto de los iberos, el Santuario rupestre de la Cueva de la Lobera,
que debió tener una importancia considerable a partir de la segunda mitad del siglo IV a C. Por su posición estratégica a él acudirían gentes procedentes de ambos lados de Sierra Morena. Los
numerosos exvotos encontrados en el mismo muestran unos logros escultóricos que los sitúa en la vanguardia artística del mundo conocido.
Pero la presencia del hombre en esta tierra es más antigua, los vestigios arqueológicos localizados en su término la
remontan al 3000-2000 a C. Uno de los hallazgos más interesantes es el de la cueva de la Sima, con un conjunto sepulcral colectivo del neolítico, o los poblados del Argar o el cortijo de la
Capilla.
Durante época romana proliferaron en sus alrededores un gran número de villas de grandes dimensiones como el cortijo de la
Parrilla y el Dorado.
Castellar fue una de las primeras localidades conquistadas por Fernando III a los nazaríes en 1226. No obstante,
hasta el final de la conquista castellana, esta tierra tuvo que soportar la incursión de las tropas nazaríes en sus dominios. De estos tiempos de contienda son testimonio los restos defensivos
que quedan en su población, la mayoría enmascarados o reutilizados en edificaciones posteriores.
Durante la Edad Media y Moderna estuvo ligada a la Casa de los Benavides. Finalizada la reconquista cristiana estos
Benavides transformaron la pequeña fortaleza con la que contaba la población en el siglo XIV en palacio señorial, de buena sillería y en línea con la moda estilística castellana, si bien
conservando en su interior la antigua torre del homenaje. Otro de los edificios más emblemáticos de los legados por esta familia en Castellar es la ex-colegiata de Santiago, una de las más ricas
fundaciones de la provincia en el siglo XVII.
Estos Benavides fueron primero señores desde 1371, luego condes en 1473 y posteriormente duques de Santisteban
del Puerto en 1793. Desde la instauración del condado en 1473 comenzarían a desarrollarse una serie de litigios entre los tres pueblos que formaban el Condado -Santisteban, Castellar y Navas-
algunos de los cuales han perdurado hasta nuestros días. Punto culminante de estos litigios es la resolución de 1798 conocida como "escritura de la concordia", por la que se establecía la cesión
por parte de la casa señorial de una serie de terrenos a los tres pueblos y como contrapartida la cesión de terrenos baldíos al Condado de Santisteban. Con todo, este tratado no significó el
final de los pleitos; en el siglo XIX continuó un largo litigio que perseguía delimitar con precisión las demarcaciones territoriales de los municipios de Castellar y Santisteban.