Nach der Übernahme Oldenburgs durch das Haus Holstein-Gottorp im Jahr 1773 wurde das Schloss neuerlich erweitert. Unter der Leitung des Architekten Georg Greggenhofer entstand in den Jahren 1774-1778 der Holmer-Flügel, in dem sich heute der Weiße Saal befindet. In allen drei Stockwerken waren in diesen am Südende gelegenen Zimmern Bedienstete untergebracht. 1818 wurden die drei Lakaienzimmer der Beletage beseitigt, um die Nutzfläche des benachbarten Tanzsaales zu vergrößern.