Während der Luftangriffe im Zweiten Weltkrieg wurde das Pellerhaus bis auf den Keller, wenige Teile des Erdgeschosses und den Treppenturm fast vollständig zerstört. Aus Kostengründen entschied man sich frühzeitig gegen einen kompletten Wiederaufbau und konservierte nur die Bogenwände bis einschließlich des ersten Obergeschosses. 1957 wurden diese in den als Bibliothek geplanten Neubau von Fritz Mayer integriert, welcher in den folgenden Jahrzehnten unter anderem das Stadtarchiv und eine Zweigstelle der Stadtbibliothek beherbergte. Seit 2013 befindet sich dort der Sitz des Deutschen Spielearchivs Nürnberg.