En general, no es una buena idea. Que sea un problema real depende de sus ciudadanías específicas.
La mejor y más segura regla en mi experiencia es
Entrar y salir siempre de un país con el mismo pasaporte
Ten en cuenta que el viaje de ida y vuelta contiene 4 interacciones fronterizas, no sólo 2. Salir de X, entrar en Y, salir de Y, entrar en X.
Así que si vas de X a Y debes usar AMBOS pasaportes: PassX para salir de X y PassY para entrar en Y. A la vuelta hazlo al revés, usa PassY para salir de Y y PassX para entrar en X.
Puede utilizar dos pasaportes para un mismo vuelo y las compañías aéreas son perfectamente capaces de gestionar dos pasaportes al facturar.
ATENCIÓN: hay más de 30.000 combinaciones de X e Y y este post sólo pretende cubrir las reglas "típicas". Muchos países no tienen controles de salida (EE.UU.) y a muchos países simplemente les da igual el pasaporte que utilices.