Caspar Voghts Bibliothek in Klein Flottbek umfasste rund 3.800 Bände, 200 Landkarten und Kupferstiche. Er sammelte Werke zu Geografie und Geschichte, Gartenbau und Landwirtschaft, Armenwesen und Gefängniskunde. Reisebeschreibungen, Bücher zu den „Schönen Redekünsten“ und Voghts eigene Abhandlungen über Armenfürsorge und Landwirtschaft waren vertreten. Seine Mineraliensammlung und physikalischen Instrumente verwahrte er in Glasschränken auf.