Se trata de uno de los edificios de mayor envergadura de la ciudad, compuesto por una yuxtaposición de edificaciones cuyo origen es un palacio mudéjar que posteriormente se amplió para convertirse en residencia de familias nobles y que finalmente en el XIX se adaptó a casa de vecinos. La estructura del palacio mudéjar se organizaba en torno a un patio y muestra bastantes analogías, sobre todo en la disposición de sus piezas esenciales, con el palacio mudéjar del Alcázar sevillano. Del conjunto de edificaciones primitivas parece quedar constancia en una amplia edificación rectangular dividida en dos plantas y paralela a la fachada y en otra sala cuadrada situada a la derecha del patio, así como en los dos patios más pequeños, yuxtapuestos a estas salas. La sala rectangular está simétricamente ordenada y cuenta con un gran espacio central, cubierto por un artesonado de madera, y dos saletas laterales con bóvedas sobre trompas donde están pintados los escudos de la familia de Altamira y Guzmán. Un estrecho pasillo que se supone sería el acceso desde el patio pequeño a las galerías del grande y desde éste a las salas, separa la sala de la calle Céspedes. Tanto el espacio central como el pasillo se cubren por un artesonado de madera y se decoran junto con el patio con yeserías de finales del siglo XIV. El palacio cuenta con un segundo patio de mayores dimensiones, 14 x 18 m., con arquerías en sus cuatro lados y se observa en su construcción dos momentos diferentes, uno correspondiente al lado que lo separa de la calle Céspedes, donde la arquería parece incluida en alfices y una de cuyas columnas cuenta con un capitel califal, y otro el correspondiente a las otras tres caras, cuyas arquerías parecen ser todas de fecha reciente. De las dos escaleras actualmente existentes, la situada al fondo de la edificación parece ser original y la escalera más próxima a la fachada parece ser coetánea con ésta, de la época en que el palacio se convirtió en la casa de los Villamanrique. La crujía de fachada aparece como una operación unitaria, ejecutada en el siglo XVII, destinada a proveer de fachada y de un cuerpo principal de habitaciones al conjunto de salas y patio principal que configuraban el antiguo palacio mudéjar. Se compone de dos plantas y entresuelo y tiene una profundidad de 7 m. Otra transformación importante que afecta al edificio puede fecharse a finales del XIX, en que se adapta a casa de vecinos. De esta fecha deben provenir elementos tales como la pequeña edificación que ocupa parte del patio de entrada y las escaleras que unen la planta baja de la crujía de fachada con las entreplantas. En el alzado destaca la portada principal abierta en arco de medio punto, con jambas y dintel moldurados que recoge el balcón principal. El paramento se divide en calles por pilastras pareadas y se remata por una cornisa con modillones a lo largo de toda la fachada. Sobre el alero de tejas aparecen dos buhardillas, rematadas por frontón curvo. El palacio se encontraba en avanzado estado de deterioro cuando se realizó su reforma y rehabilitación con objeto de alojar la sede principal de la Consejería de Cultura. El proyecto participó de la estrategia de dicha Consejería de fragmentar sus dependencias en diversos edificios "frente al modelo de concentración adoptado por otras tantas Consejerías- con el fin último de promover la rehabilitación integral del barrio, antigua judería, prácticamente abandonado, en ruinas y ausente para la ciudad. Otras dependencias se alojaron en la misma calle y en la vecina calle Levíes. La rehabilitación efectuada durante la última década del siglo XX ha permitido la recuperación del edificio mediante un proyecto cuidadoso que ha puesto en valor los diferentes espacios del Palacio, ejemplo de intervención en el que la participación multidisciplinar ha permitido valorar adecuadamente las estructuras superpuestas del edificio.
