Um dos cartões postais de Morro de São Paulo, O Casarão como é chamado foi a primeira obra de grande porte na ilha. Construído em 1608 pela família Saraiva, assim como A Igreja Nossa Senhora da Luz. Ambas as construções remetem ao passado e a colonização dos portugueses.Nesta época servia como depósito de farinha. Mais tarde uma de suas salas virou uma escola. E desta forma o casarão passou por vários donos e muitas reformas, mas sempre respeitando e mantendo sua estrutura original. Atualmente trabalha como Pousada e Restaurante O Casarão com uma boa área verde e infra-estrutura no centro da ilha em frente à Praça Aureliano Lima.
Entre tantas lendas e história que envolvem O Casarão, está o fato desta casa já ter abrigado ninguém menos que o Imperador Dom Pedro II, a Marquesa de Santos e o alto escalão da côrte, quando esteve em Morro de São Paulo, seguido de uma visita a cidade de Valença em 1859.Os registros da veracidade deste fato estão em suas anotações de viagem em seu diário no Museu do Ipiranga, no Rio de Janeiro.
Para alguns nativos e moradores mais antigos, existem espíritos que vivem ali. Alguns contam já terem ouvido barulhos à noite ou até mesmo vultos. Claro, estas lendas nunca espantaram turista algum. Lendas a parte, O Casarão merece ser conhecido, seja para dormir em uma pousada aconchegante e cheia de histórias, ou para relaxar e saborear uma deliciosa comida em seu restaurante agradabilíssimo, com uma vista privilegiada no alto da Praça Aureliano Lima, onde se pode avistar todo o vilarejo, e quase todas as noites têm música ao vivo.