En el año 1565 fue adquirida al Rey por Don Ruy Gomez de Silva, luego premiado con el título de duque de Pastrana, de donde también era señor. Ruy Gómez de Silva y de su mujer, la princesa de Éboli realizaron cambios en la fortaleza para poder habitarla. En el año 1572 este magnate fundó un mayorazgo en el que incluyó la villa de Zorita y su castillo. Pasó a su hijo don Rodrigo de Silva y Mendoza, y luego a sus descendientes los duques de Pastrana, hasta que en el año 1732, los duques del Infantado, a quienes por sucesión había correspondido la casa pastranera, vendieron este enclave a don Juan Antonio Pérez de la Torre, antecesor de los condes de San Rafael. El título, ya solamente honorífico, de Comendador de Zorita, continuó existiendo hasta el siglo XIX.