Es uno de los pocos castillos españoles que han continuado habitados desde su construcción, al modo de los castillos-palacio franceses. Sólo puede visitarse por fuera, pero merece la pena recorrer su perímetro para tener una imagen fiel de cómo eran estas fortalezas cuando estuvieron en uso.

De planta cuadrada, refuerzan sus esquinas torres cuadrangulares en las esquinas de su muralla. La torre del homenaje es vivienda de los Duques de Arión. Todo su perímetro está rodeado de un foso, excepto en el lado protegido por el río Tajo. Podemos ver dos matacanes, en el lado del río, y junto a la torre principal, así como una hilera de merlones rematando la muralla.

Se considera primitiva fortaleza defensiva árabe del siglo X, aunque fueron los Gómez de Toledo sus primeros propietarios, en el siglo XIV, y sus descendientes quienes lo habilitaron como residencia. En el siglo XVII se acometió una importante reforma en su interior para transformarlo en palacio, momento en que se abrieron las ventanas de sus muros.