Está situado en la Plaza de la Constitución 1, en lo que es el conjunto del Ayuntamiento, concretamente en la Torre Homenaje del Palacio Ducal de Medinacelli.
Fue construido siendo Alcalde D. Antonio Robledo, inaugurado el 5 de Septiembre de 1998 por D. Gaspar Zarrías Consejero de la Presidencia de la Junta de Andalucía, y financiadas las obras por la Consejería de Obras Públicas, siendo el Consejero Titular D. Francisco Vallejo.
El Museo de Arte Ibérico de Castellar está dedicado a la Historia y arqueología. En la exposición se exhiben restos arqueológicos hallados en el Santuario Ibérico de la Cueva de la Lobera (este santuario es de arqueología ibérica, la primera vez que se excavó fue a principios de siglo y sobresalen sus exvotos de bronce. Este santuario adquirió importancia a partir del siglo IV a C). La colección es su mayoría por estatuillas votivas de bronce, así como puntas de flecha, hachas o recipientes de cerámica.
El Museo Ibérico va instalado en La Torre Vigía o Torre del Homenaje, situado en el patio del Palacio de Medinaceli.

Sucesivas aportaciones del Museo Arqueológico de Jaén, constituidas por cientos de piezas ibéricas hallada en las Cuevas de la Lobera, se visitarán a lo largo de los siguientes años, en las dos plantas de la Torre-Vigía.
En la planta sótano además se pueden contemplar, gracias al suelo de cristal, la excavación que ha dejado a la vista vasijas y cantaros romanos, junto a un pozo de aguas aluviales. El atractivo de la visita es grande: Contemplar una torre medieval, las maravillosas vistas desde la terraza y ser de los primeros en ver piezas ibéricas; la mayoría por vez primera expuestas al público; encontramos exvotos, hachas, falcatas, cerámica etc. etc. que se irán renovando en los próximos meses: Están catalogadas en total mas de 4.000 piezas.
En el primer piso o Salón del Reino se visita el resto de piezas, que se encuentras bien iluminadas en vitrinas de metacrilato. Esta sala es de grandes proporciones,llamando la atención la altura de la misma.