Den lange længe mod Markvej er den ældste del af Anchers Hus. En bygning på grunden nævnes første gang i 1801, men den blev ødelagt under en brand i 1829. Den østlige (højre) del af bygningen blev genopbygget først, men den vestlige (venstre) del af bygningen blev tilføjet i etaper i løbet af 1800-tallet. Den første kunstner, der tog ophold i huset, var Holger Drachmann, hvis svigerfar havde lejet huset for sommeren i 1882. Det følgende år, i 1883, boede de svenske malere Oscar Björck og Johan Krouthén og de norske malere Christian Krohg og Charles Lundh i huset, som fik tilnavnet Malernes Hus. Først i 1884 blev huset købet af Ancher-familien, da Michael Ancher underskrev skødet 18. februar.