Schloss Karlsberg war von Gartenanlagen und Nutzgärten umgeben, die im Laufe der Jahre immer wieder verändert und vergrößert wurden. Sie produzierten Obst und Gemüse für die Hoftafel sowie Blumen und Topfpflanzen für den Schmuck der Räume. Bei Festessen hängte man Käfige mit Nachtigallen zwischen blühende Bäume und servierte exotische Früchte aus den eigenen beheizten Treibhäusern.
Die Gemüsegärten wurden später in einen englischen Landschaftspark umgestaltet. Zu den Aufgaben des Hofgärtners gehörten auch die Betreuung der Forstwirtschaft und die Anlage von Baumschulen.