La costruzione della Casa continuò lentamente, appunto a partire dal 1476. Intanto il Maestro abitò in altre zone della città. Dopo un breve soggiorno romano, che terminò nel 1490, Andrea ritornò a Mantova, ma probabilmente non iniziò a risiedere subito nella sua nuova Casa. Certamente, nel 1496 egli qui viveva. Il periodo di permanenza non fu lungo: con atto del 16 gennaio 1502 l’edificio divenne patrimonio del Gonzaga, che in cambio concesse all’artista una proprietà nei pressi di piazza Purgo, ovvero l’attuale piazza Marconi, a pochi passi da Sant’Andrea. Così svanì il sogno di trascorrere l’ultima parte della vita in un edificio che fosse contemporaneamente dimora, laboratorio e riflesso dell’armonia delle arti.