Im Jahr 1774 heiratete Karl August eine sächsische Prinzessin, Maria Amalie. Der einzige gemeinsame Sohn Karl August Friedrich starb jedoch schon 1784 mit acht Jahren. So fielen die Erbansprüche an Karl Augusts jüngeren Bruder Max Joseph.
Auch den Wittelsbachern in München und Mannheim fehlte es an erbberechtigten Nachkommen. In München residierte bis 1777 Kurfürst Maximilian Joseph III.; mit ihm starb die bayerische Linie aus. Nachfolger wurde daher Karl Theodor von der Pfalz, der seine Residenz aus Mannheim nach München verlegte. Dessen einziger ehelicher Sohn war aber bereits 1761 bei der Geburt gestorben. Karl August hatte also Aussichten auf die Nachfolge in Mannheim und in München.