L'attuale castello di Torri del Benaco fu costruito nel 1383 su ordine di Antonio della Scala sulle rovine di un precedente castello risalente al I secolo. Del primo castello è ancora visibile oggi la torre ovest. Nel 1760 venne abbattuta la seconda cortina muraria per la realizzazione della limonaia. Nel 1980 il Comune di Torri del Benaco iniziò un intervento di restauro completo sotto la direzione dell'architetto Rudi Arrigo.