En el siglo XVIII, al igual que sucedió en otros lugares de Galicia, en nuestra ciudad se levantaron las mejores construcciones del barroco pontevedrés. De todas ellas el edificio más lujoso y de mayores proporciones era sin duda el palacio de los condes de San Román, aunque quizá su estilo no encajase del todo en el barroco gallego si lo comparamos con el pazo de los García Flórez. Este se caracteriza por planos recortados y ausencia de esculturas, elementos que no coinciden en el pazo de San Román, pues poseía esculturas, carecía de planos recortados y tenía además un curioso patio interior, lo que lo convertía en una rareza.
Su construcción está ligada a la noble familia de los Gayoso y Aldao, uno de cuyos miembros la edificó en 1744 para la futura esposa de su primogénito. Pasó luego a la de los Mirandas y Lobeira, y marqueses de Santa María del Vilar, entroncando más tarde con la familia de los condes de San Román.
Se situaba este lujoso palacio en la antigua plazuela de la Platería Nova, más tarde denominada de San Román y actualmente de Curros Enríquez (así denominada desde 1908), con frente a la plaza de Teucro y a las calles del Hospital, hoy Real; y los Alfayates, hoy Manuel Quiroga.
La fachada principal, la más ostentosa, desapareció completamente. En un dibujo de Federico Alcoverro se representa su reconstrucción, sobre datos que le fueron suministrados al artista por la Sra. de Babiano y D. José Casal y Lois.
Contamos también con una descripción que de él hace Celia García Alén en 1956:
"Contaba el edificio con tres cuerpos, en el primero de los cuales se abría la puerta de entrada entre dos ventanas con recuadros barrocos. En el segundo, un hermoso balcón con balaustrada de piedra que recorría toda la fachada principal y continuaba por los laterales, al que se abrían dos puertas con enmarcado y frontones curvos partidos, decorados estos interiormente, entre pilastras adosadas de orden corintio. En el centro, un escudo con las armas de los Aldao, Gayoso, Figueroa, Castro, Varela, Lobeira y Araujo, entre dos nichos con dos estatuas de piedra representativas de la Esperanza y la Fortaleza, se conservan estas dos estatuas centrales en lo alto del tejado en la fachada del edificio Fernández Flórez del Museo, en la calle Sarmiento. En el tercer cuerpo, entre cuatro pilastras de orden compuesto se situaban dos ventanas laterales y una puerta central con balcón, con recuadros y frontón curvo, rematando la fachada con balaustrada y dos elegantes torrecillas circulares con las cinco lises de los Aldao.
De todo esto se conservan los escudos y las esculturas en el Museo de Pontevedra. De las fachadas lindantes con las calles Real y Manuel Quiroga subsiste únicamente algún trozo enclavado entre edificaciones posteriores.
El patio interior del Palacio de San Román lo componían dos cuerpos, el inferior con pilastras y el superior con balaustrada. En la pared del segundo cuerpo una serie de hornacinas albergaban bustos de emperadores, reyes, filósofos, oradores, etc., de caliza de Coimbra y de Bayona (Francia). Únicamente la fachada posterior, la de la plaza de Teucro, llegó a nosotros sin que sufriese reformas ni destrucciones. Era asoportalada (de ocho arcos) con un segundo cuerpo sobre el que iba una torre almenada, con seis balcones pequeños y ventanas entre cada dos. De todo este conjunto se destruyó el almenado de la torre y se tapiaron los soportales, descubiertos en parte en una acertada y reciente restauración. Tenía en su interior el edificio, con fachada a esta plaza de Teucro, una primitiva capilla barroca de pequeñas proporciones, con indulgencia concedida en 1767 por el Arzobispo compostelano fray Bartolomé Rajoy y Losada".
El patio interior del palacio todavía se conserva y puede visitarse, ya que se encuentra en el interior de un establecimiento hostelero cuya entrada se sitúa en la calle Real.
Como dato curioso mencionar que a este pazo trasladó su sede el 2 de junio de 1858 la Sociedad de Recreo Liceo Casino y aquí permaneció hasta la inauguración de su propio edificio (su sede actual) el 2 de agosto de 1878.