如果親王降為郡王需要更換王府

這是肯定的。

清朝和碩親王、多羅郡王、多羅貝勒等，和碩公主與固倫公主等，這是爵位等級和身份的區分，除非皇帝特賜之物，王府、公主府、服飾等不能逾制，否則輕被沒收，重則削爵抄家。