Według legendy Chopin urodził się w Żelazowej Woli w czasie, gdy jego ojciec Mikołaj grał na skrzypcach. Obecny budynek to jedyna zachowana oficyna nieistniejącego dworu Skarbków. Po śmierci Chopina, 17 października 1947 r. do Żelazowej Woli powróciło serce kompozytora, kiedy samochód z delegacją wiozącą do Warszawy urnę wyruszył najpierw z Milanówka do Żelazowej Woli przez Grodzisk Mazowiecki i Błonie, a następnie szosą Warszawa – Sochaczew w kierunku Paprotni i Żelazowej Woli. W delegacji znaleźli się ks. Leopold Petrzyk, proboszcz parafii Św. Krzyża w Warszawie, prof. Bolesław Woytowicz oraz Bolesław Sydow, wybitny chopinolog i mieszkaniec Milanówka.