El Castillo de Pau se construyó en el siglo XII y fue el lugar donde nació y vivió Enrique IV de Francia y III de Navarra. A través de los tapices que cuelgan en sus paredes se cuenta la vida del monarca. Una de las dependencias más visitadas es la habitación donde se encuentra la cuna de Enrique IV, se trata de un caparazón de tortuga marina, ya que antiguamente se contaba que los bebés se mecían solos dentro del caparazón.
En este castillo se alberga una de las mayores colecciones de toda Francia de tapices y muebles de los siglo XVII y XVIII. De hecho, actualmente el Castillo de Pau es un museo nacional.
