Era el más hermoso de los pazos urbanos de Pontevedra y también el más rico de los que hicieron los maestros de Santa María, posiblemente Diego Gil, ejemplo de la mejor arquitectura civil de finales del siglo XV y el edificio más bello del último gótico pontevedrés. Se ubicaba en un solar situado entre las Torres Arzobispales y las Casas del Concejo, lindando con la Campa dos Xudeos, al principio de la que hoy conocemos como rúa Charino.
Aunque popularmente se conocía como la "Casa dos Churruchaos", no debe de confundirse con las afamadas Torres Arzobispales que se encontraban en el Paseo de Santa María, lugar que desde 1878 ocupa el palacete de las Mendoza, y que en no pocas ocasiones son denominadas de forma incorrecta como torres de los Churruchaos.
Fue don Suero Gómez de Soutomaior quien mandó edificar este pazo. Era hijo de Fernán Yáñez de Soutomaior y de Urraca Ares, nieto del mariscal del mismo nombre y apellidos, tenenciero de las Torres Arzobispales de Pontevedra, figura relevante en la historia de la villa a finales del siglo XV. Este don Suero fue señor de Rianxo, Sobráns e Señoráns, se casó con doña Ginebra de Haro y murió en 1539.
Villa-Amil y Castro nos ha dejado una descripción de lo que restaba de la fachada sur del pazo de los Soutomaior en 1904:
"Está dividida en dos zonas o cuerpos correspondientes a los pisos bajo y alto de la casa. En el primero se abre, casi en su centro, una puerta de arco elíptico, muy rebajada, con arquivolta corrida pometeada; a la derecha de ella se abre otra puerta trebolada, muy sencilla y al otro lado, hubo una ventana con reja de la que quedan únicamente las señales".
"Sobre la puerta central hay un escudo con armas jaquelado y otros dos a ambos lados de la reja, a la misma altura que el otro, el uno también jaquelado y el otro, partido, con cinco lises. Una imposta o faja separa este cuerpo inferior del superior de la fachada, en el cual se abre sobre cada uno de los huecos del cuerpo inferior, una ventana de diferente forma y ornamentación. La que cae sobre la puerta lateral es rectangular, mucho más ancha que alta y está adornada alrededor de una faja ornamentada de pomos. La que cae sobre donde hubo reja es de arco elíptico con ancha faja alrededor que baja hasta la faja divisoria del cuerpo inferior y está adornada de florones, y la central es un precioso ejemplar de arquitectura ojival. Tiene arco de talón con festón acairelado que forma cinco lóbulos; antepecho cubierto con gracioso grutesco, y dos agujas flanqueantes que suben hasta la cima del muro y asientan sobre pedestales de carácter y composición grecorromana. Corre, en fin, por todo lo alto de la fachada, en línea horizontal, una cadena sobre la cual avanzaba, sin duda, el tejaroz, conforme el uso general de la época y de que es notable ejemplar la fachada del Grande y Real Hospital de Santiago… Del mismo tiempo debe ser esta suntuosa morada de la familia de los Sotomayor".
Además de la completa descripción que nos ha dejado Villa-Amil, es necesario añadir los datos que aporta un dibujo "conjetural" de Federico Alcoverro, guiado por Casto Sampedro y José Casal, quienes tuvieron a la vista piedras amontonadas en el solar y gráficas que no conocemos. En él aparece un segundo piso. Además de las ventanas que repiten la estructura del primero, tiene otra pareja de ellas siempre con los pretiles decorados, enlazadas los dinteles por un arco, con escudo en la enjuta central y bajo un cordón como alfeice, que también cobija las laterales. La cornisa es muy rica en decoración, emula la del Hospital Real.
Este hermoso pazo se mantuvo en perfecto estado hasta 1719, ese año la villa fue asaltada por los ingleses, estos arrasaron y quemaron las edificaciones más importantes, entre ellas, la Maestranza, las torres arzobispales, la casa de los hermanos Nodal y este pazo.
Desde entonces quedó en estado de total abandono, hasta que a comienzos del siglo XX, gran parte de los restos de la fachada se trasladaron a la quinta que González Besada tenía en Poio, para el edificio de su gran biblioteca, edificio proyectado por José de la Gándara en el año 1912. Allí permanece desde entonces, tras un período de abandono fue restaurada hace pocos años y así se conserva hasta el día de hoy.
Una ventana apaisada que formaba parte también de su fachada pasó con los fondos de la Sociedad Arqueológica al Museo, y ahora, y desde hace ya bastantes años, la podemos contemplar en la pequeña entrada al claustro del convento de San Francisco, bajo la torre de la campana, justo al lado de la fachada de la iglesia.