Tratava-se de um edifício de habitação de estilo suíço, mandado construir ainda no século XIX por Sebastião da Silva Neves, um vianense conhecido, por ser o dono da empresa de diligências que fazia o trajeto entre Douro e Minho, mas que também circulavam por Trá-os-Montes e até pela vizinha Galiza. Sebastião Neves faleceu em 1897. Este Chalet pertenceu posteriormente a Domingos José de Morais, que faleceu em 1903. Logo depois foi adquirido por Tomás Quartin, falecido em 1933, que lhe deu nome. Ambos foram homens de negócios, para além de devotos e beneméritos vianenses.

Mais tarde ali funcionou a Casa dos Pescadores, onde também se instalou a escola para pescadores, habilitada para preparar os jovens que queriam abraçar a vida do mar.

Abandonado, o chalet viria a ser demolido em 1964.