L'edificio e il Teatro, che verrà chiamato anche Scientifico, all'inizio del diciottesimo secolo risultano fatiscenti. Si pensa ad un restauro, che sfocia in una vera e propria ricostruzione. Questa viene affidata ad Antonio Bibiena, esponente di una celebre famiglia di architetti. Mantova è ormai sotto la dominazione austriaca e Antonio Luigi Galli da Bibiena, questo è il suo nome completo, ha ottimi rapporti con la corte imperiale. D'altra parte, nel 1767 Maria Teresa d'Austria istituisce l'Accademia Reale di Scienze e Belle Lettere, poi anche di Arti, nata dalle ceneri dell'Accademia dei Timidi.
La tradizione di studi di elevato livello continua fino ad oggi. Dopo l'acquisizione del complesso da parte del Comune di Mantova, nelle sale opera la prestigiosa Accademia Virgiliana, dotata di un'importante biblioteca e di una interessante collezione di manufatti medici e scientifici.