L'anno 1227 è solo il primo punto fermo nella secolare vita del Palazzo. L'edificio subisce diversi incendi che lo portano ad essere molto degradato già nei primi anni del quattrocento. Nel 1430, Gian Francesco Gonzaga (1395-1444), marchese di Mantova dal 1433, aveva già interrogato illustri concittadini sulle modalità di recupero di costruzioni così importanti e antiche. Fu tuttavia suo figlio, il grande Ludovico (1412-1478), ad intervenire massicciamente, disegnando il nuovo aspetto della città: oltre a dare corso alla celebre ricostruzione di Sant'Andrea seguendo il progetto di Leon Battista Alberti, il Gonzaga ordina di selciare una parte rilevante delle vie dell'attuale centro storico e opera un radicale rinnovamento delle vestigie del Palazzo. Luca Fancelli (1430-1502), allievo toscano del Brunelleschi, viene incaricato della complessa ristrutturazione, che interesserà profondamente quello che all'epoca veniva chiamato Palazzo di Virgilio.