Situé à 60 kilomètres de Vienne, le château de Frohsdorf, « Versailles de l’exil », a été acheté par le duc Casimir de Blacas qui le lègue à sa mort à la duchesse d’Angoulême. Après le décès de sa tante, en 1851, le comte de Chambord hérite du château et de son domaine de 3 000 hectares. Il y passe l’essentiel de sa vie d’exil entre 1845 et 1883. La maison du prince en exil est quelque peu austère. Aucun enfant ne naît de son union avec Marie-Thérèse d'Este-Modène. On peut imaginer la souffrance du couple de ne pas de donner à la France un nouvel héritier. Heureusement, sa sœur Louise séjourne souvent avec ses enfants auprès de lui. Après le décès de cette dernière, en 1864, il prend en charge ses neveux et nièces, déjà adolescents. Il a pour eux une véritable affection, en particulier pour le plus jeune, Henri. L’atmosphère de Frohsdorf s’égaye un peu. Le prince vit entouré d’une petite cour. Sa Maison civile se compose de gentilshommes issus de familles légitimistes. Ils consacrent par roulement et à leurs frais une partie de l’année au service de l’héritier du trône. Ils sont conseillers, gentilshommes de service ou encore chargés du service des écuries. Parmi ses plus proches collaborateurs, on peut citer le duc de Lévis, son ancien gouverneur, qui passe près de vingt-cinq ans à servir le prince et joue le rôle de « Premier ministre de l’exil », ou encore le comte Stanislas de Blacas d’Aulps, Fernand de La Ferronnays et le comte Édouard de Monti de Rezé.
Il y a aussi la partie de la Maison du prince qui est rétribuée, composée de domestiques, médecins, aumôniers ou des personnes chargées de l’intendance de son domaine et de la gestion de ses biens.