Già nel 1523 il Conte Baldassare Castiglioni dispone per testamento di costruire una cappella a lui dedicata nella chiesa di Santa Maria delle Grazie. A quei tempi il luogo era molto venerato ed assicurarsi una tomba al suo interno significava per il corpo ivi tumulato ricevere una messa in eterno. Viene concessa a Giulio Romano carta libera in merito alla decorazione e al progetto della tomba.