El Museo de Cazorla, se creó como sección del Museo de Jaén en 1971, aunque tras el convenio de traspaso de competencias depende directamente de la Delegación Provincial de Cultura. Fue inaugurado el 23 de septiembre de 1983.

Para sede de éste se adquirió el Castillo de la Yedra, que es el monumento arquitectónico más significativo de Cazorla. Este edificio, conocido ya desde el siglo XVII como castillo de la Yedra, también se denomina "Castillo de las Cuatro Esquinas", por la planta de la torre principal, que es cuadrada. No existen datos seguros sobre su construcción, aunque el castillo actual procede de la época del Arzobispo D. Pedro Tenorio, que en 1394 restauró y amplió la fortaleza, que veía amenazada la frontera por el reino de Granada por el apogeo del reinado de Muhammad V y está probada documentalmente la importancia de este castillo en las guerras y escaramuzas entre las tropas árabes y castellanas. En los siglos XVII y XVIII ca en decadencia y sólo vuelve a cobrar importancia en la Guerra de la Independencia. Durante la desamortización del XIX, pasó a propiedad del patrimonio municipal y, tras varias compras y donaciones, se expropia en 1972 y se restaura para instalar el Museo de Artes y Costumbres Populares.

El castillo está formado por tres recintos fundamentalmente, aunque también existen restos de barbacana, murallas y otros elementos defensivos fuera del recinto actual. El recinto más alto aloja la torre del homenaje, de planta cuadrada, mandada construir a finales del siglo XIV por Don Pedro Tenorio. Consta de cuatro plantas y terraza almenada, correspondiendo el nivel más bajo a las mazmorras, a las que se asocia la “Leyenda de la Tragantía”, un monstruo mitad serpiente, mitad mujer, escondido en lo más profundo de la fortaleza.

En el ángulo sureste de la torre se encuentra una edificación que consta de tres plantas de desigual tamaño, usado como vivienda en otros tiempos y por donde se realiza actualmente la entrada al museo, aunque la entrada natural al castillo se realizaba por la puerta norte (donde se sitúa el escudo de Sandoval y Rojas y la fecha de 1606) . Los otros dos recintos, que se incluyen dentro de los muros del castillo, no están edificados y se dedican a jardines.

El museo se organiza en las dependencias del castillo en dos secciones, la histórica, ubicada en la torre del homenaje y la específicamente dedicada a artes y costumbres populares, en un ala anexa a esta torre. La exposición de piezas pertenecientes a esta última sección se inicia desde la propia entrada al museo y el patio, con útiles y utensilios agrícolas. En la segunda sala se encuentran tres maquetas de molinos de aceite de distintas épocas y cerámica, tanto árabe, encontrada en el castillo, como popular, de procedencia diversa. En la última sala se reproduce una típica cocina cazorleña, con todo su ajuar, además de maquetas de cortijos típicos y vajilla cerámica.

En cuanto a la sección histórica, ubicada en la torre del homenaje, consta de tres salas, la primera dedicada a capilla, con un Cristo de estilo románico-bizantino y un apostolado barroco en cuadros al óleo. La segunda planta está dedicada a Sala de Armas, con panoplias de diversas armas, así como armaduras y mobiliario de los siglos XVI y XVII. Por último, en la tercera planta, se ubica la Sala Noble, con tapices flamencos del siglo XVII y bargueños del siglo XVII-XVIII.