No esperaría mucha consistencia de temperatura de la piscina de un hotel promedio que también tiene una piscina. Si simplemente tienes un hotel que incluye una piscina, probablemente necesitarías contactar al hotel con anticipación para averiguar si le dan importancia a su temperatura y a qué está ajustada.
La presencia de un "bar en la piscina" es una buena señal de que es una piscina calentada a una temperatura confortable.
Si específicamente estás buscando un baño cálido para relajarte, probablemente querrás buscar lugares centrados en esta idea, o al menos hoteles que ofrezcan piscinas con agua caliente específicamente. Estos pueden tener diferentes términos en diferentes partes del mundo.
En Europa, estarías buscando un baño termal (de: Therme, fr: thermalisme, es: termalismo y variantes similares). Estos suelen tener piscinas cálidas para nadar y piscinas calientes separadas, además de saunas. Puedes encontrar baños termales para pasar unas pocas horas o un día, y hoteles construidos alrededor de baños termales.
En países árabes (y como exportaciones desde allí), encontrarás hammam o baños turcos con raíces similares.
El término general internacional es spa. Dependiendo del país, esto puede enfocarse más o menos en masajes o saunas y en mayor o menor medida en natación, pero seguro encontrarás agua caliente allí de alguna forma. Si tu hotel específicamente anuncia un spa, puedes estar bastante seguro de que tiene una piscina para "alejarse". Un ejemplo más o menos aleatorio: https://soranohotel.com/es/spa/.
En algunos países puede haber variaciones locales específicas como onsen, que es una cosa cultural propia en el grado en que específicamente vas allí para experimentarlo. Nuevamente, puedes encontrar onsen para sumergirte por una hora, y casas de huéspedes o pueblos enteros diseñados alrededor del onsen para pasar unos días.
Lugares internacionalmente similares son conocidos genéricamente como aguas termales o resorts de aguas termales, que pueden o no tener significado cultural local de la forma en que los onsen tienen en Japón.