Entró en la UE con pasaporte comunitario, y al entrar en Gibraltar se marcó como salida de la UE con pasaporte canadiense. ¿Causará esto problemas?

Nada de esto importa. Eres un ciudadano polaco, tienes derecho a estar en España más o menos indefinidamente (con algunas pequeñas salvedades pero nada que importe en este escenario). El uso de tu pasaporte canadiense no cambia ese hecho básico y, en el caso altamente improbable de que alguien en cualquier lugar de la UE te cuestione alguna vez sobre ese sello o cualquier registro de viaje incompleto, establecer tu ciudadanía polaca será suficiente para aclarar el asunto.

Volví a cruzar a España desde Gibraltar con mi pasaporte polaco, sin problemas; no lo escanearon ni sellaron ni comprobaron ni nada, simplemente me dejaron pasar.

Eso es bastante típico. Los guardias fronterizos españoles conocen las normas que acabo de mencionar. Tienen prohibido sellar tu pasaporte polaco y no tienen ningún motivo para comprobar nada más. Podrían escanearlo si sospechan que es falso o robado o si quieren comprobar si hay una alerta para tu detención, pero aparte de eso no te negarían la entrada. En particular, las estancias anteriores o el propósito de tu viaje son completamente irrelevantes.

No estoy tan seguro del lado de Gibraltar. El Reino Unido se basa en los manifiestos de pasajeros y en los datos de las empresas de transporte, pero como Gibraltar es accesible por carretera y todavía está resolviendo su relación con España tras el Brexit, no estoy al tanto de cómo gestionan exactamente la inmigración.

Es importante destacar que la permanencia en el territorio es un hecho material. Si estás fuera del territorio, no puedes estar sobrepasando la estancia. Lo que podría hacer un sello extraviado es crear cierta confusión o invertir la carga de la prueba, pero no significa que estés sobrepasando la estancia en ningún sitio. Una vez más, no sé nada de Gibraltar, pero la legislación de la UE es explícita al respecto.

En general, los descuidos no son infrecuentes y hay muchas incoherencias en el sellado. En el caso concreto del Reino Unido, siempre puedes mencionar tu ciudadanía polaca/de la UE y mostrar tu otro pasaporte mientras sigues utilizando el pasaporte canadiense.

Estás exagerando, como has adivinado.
En primer lugar, si hay alguna duda en algún momento, puedes mostrar ambos pasaportes y explicar que esperabas obtener un sello de entrada en el Reino Unido/Gibraltar. Ni Canadá ni Polonia tienen problemas con la doble nacionalidad.

Pero aún más importante es que ese sello en su pasaporte es sólo eso, un sello, no tiene su correspondiente registro digital ya que éstos aún no se realizan en el espacio Schengen. Esto hace que sea muy poco probable que te pregunten por ese sello de salida.

Otros países pueden estar interesados si solicitas un visado, pero eso tampoco debería ser un problema, ya que puedes demostrar que has entrado en el espacio Schengen en tu pasaporte del espacio Schengen.