Im ersten Krieg der Koalition von Preußen und Österreich gegen das revolutionäre Frankreich fanden zahlreiche Pfälzer in der Festung Mannheim Zuflucht. Zu ihnen gehörte auch Herzog Karl August, der allerdings bereits am 1. April 1795, im Alter von 49 Jahren, einem Schlaganfall erlag. Wenige Monate später kapitulierte Mannheim vor den Franzosen.
Auch die Bücher und Sammlungen Karl Augusts gelangten über Kaiserslautern nach Mannheim. Offenbar war die Bibliothek vollständig gerettet worden, denn auch Kleinschrifttum und schlichtere Bände sind erhalten geblieben.
Max Joseph, der jüngere Bruder und Erbe Karl Augusts, war nach Ansbach ins Exil gegangen. Da sein Land an die Franzosen verloren war, verfügte er über keine Einkünfte. Zudem hatte sein Bruder enorme Schulden hinterlassen. Das Münchener Erbe stand zwar in Aussicht, dort lebte aber noch bis 1799 Kurfürst Karl Theodor. Max Joseph war daher gezwungen, einen Teil seines Erbes zu verkaufen.
Ein Mannheimer Buchhändler schätzte die hinterlassenen Bücher aus Schloss Karlsberg. Der Auktionskatalog erschien in einer Auflage von 1000 Exemplaren und umfasste 3665 Titel. Ihr Wert wurde mit fast 25000 Gulden angesetzt. Nur 675 Werke konnten versteigert werden; sie erbrachten 5450 Gulden. Zahlreiche Bücher verblieben im Besitz von Familienmitgliedern wie Max Joseph und dessen Sohn Ludwig.