明治28年10月竣工、30年5月開館。当館のシンボルともいうべき煉瓦造の建物。設計者は宮内省内匠寮技師、片山東熊(かたやまとうくま)博士です。昭和44年、表門、札売場及び袖塀とともに重要文化財に指定された。
建築面積は3,015㎡(展示面積2,070㎡)。玄関ホール、中央ホールのほか、大小10室の陳列室及び中庭が左右対称に配置され、主として特別展覧会などに使用されている。(現在は耐震改修計画のため閉館中)
庭の中央には、フランスの彫刻家、ロダン(1840−1917)の代表作「考える人」が設置されている。いまでは単独の像として有名であるが、本来は「地獄の門」という巨大な作品の一部分であった。考える人は数多くつくられたが、当館のものはそのなかでも早い時期に鋳造(ちゅうぞう)されたもの。