明治の大地主、津島源右衛門（太宰治の父）が建築した入母屋造りの建物で、明治40年6月に落成。戦後になってから津島家が手放し、昭和25年から旅館「斜陽館」として町の観光名所となり、多くのファンが訪れていましたが、平成8年3月に旧金木町が買い取り、現在の記念館となりました。