Nel 1900 l'imprenditore Ermengildo Castiglioni decise di farsi costruire un palazzo in corso Venezia: nelle sue intenzioni l'Edificio doveva differenziarsi da tutti gli altri, ed è per questo che incaricò del compito l'architetto Giuseppe Sommaruga, noto per diverse interessanti soluzioni.
Questo atteggiamento del committente, quasi da nobile del seicento volenteroso di manifestare la propria grandezza, si ritrova nel palazzo (particolarmente imponente se paragonato al restante liberty italiano) e nella volontà di realizzare un Edificio di uno stile piuttosto nuovo per l'Italia (il liberty, appunto) in un contesto tra i più "nobili" della città, quasi in un atteggiamento di sfida ai benpensanti e conservatori concittadini.
Una sfida probabilmente persa dato che, quando nel 1903 furono tolti i ponteggi dalla facciata, l'opinione pubblica si schierò fortemente contro fino ad ottenere di far rimuovere due statue di figure femminili poste sopra il Portale d'ingresso. Le due statue, opera di Ernesto Bazzaro, suscitarono scandalo tanto da far pubblicare vignette satiriche sulla vicenda del palazzo Castiglioni sul giornale Guerin Meschino nei mesi successivi all'inugurazione (17-24-31 maggio e 11-14 giugno e 19 luglio). Le figure femminili risultavano incomprensibili nel loro significato simbolico (in realtà ben rappresentavano l'una la pace e l'altra l'industria), secondariamente erano criticate perché non avevano un ruolo preciso, non erano cariatidi a sostenere il Portale o un balcone, e in ultimo (ma sicuramente era questo l'argomento principale) si accusavano di essere troppo procaci e nude (il popolino milanese prese a definirlo ironicamente la Cà di ciapp).
Le due statue furono così tolte e successivamente poste sul fianco della villa Luigi Faccanoni a Milano. Il Portale rimasto privo di questi due elementi imPortanti dovette essere modificato: fu rialzato occupando parte della finestra superiore, la quale nella restante parte fu tamponata da un bassorilievo: il risultato finale fu quello di togliere forza all'elemento centrale del palazzo, ovvero il Portale e il gruppo di finestre del piano nobile che lo sovrastavano, che adesso risulta della stessa enfasi del Portale laterale di servizio, che è arricchito superiormente da una bella finestra tripartita.
Tutta la storia dell'Edificio si può leggere nella monografia "Giuseppe Sommaruga (1867-1917). Un protagonista del Liberty", a cura di Andrea Speziali, CartaCanta editore 2017.