¿Cómo le digo a España que he abandonado la UE?

No tienes que decírselo a España ni a nadie. La aplicación se realiza mediante el examen de los sellos de los pasaportes. Hay un sistema electrónico en marcha, pero como todavía no está en funcionamiento, obviamente no está en él.

Cuando devolver al espacio Schengen, querrá tener alguna prueba de que estuvo en Gibraltar el día 89 o antes después de entrar en el espacio Schengen, por si el agente fronterizo se da cuenta de que no tiene un sello de salida que coincida con el de entrada.

Dicho esto, hay algunos conceptos erróneos en su pregunta que deben tenerse en cuenta:

Yo... no puedo permanecer en la UE más de 3 meses por período de 6 meses.

Eso no es todo. En primer lugar, son 90 días por período de 180 días, lo que es un poco más preciso.

Además, la restricción se aplica al espacio Schengen, no a la UE. En concreto, puedes pasar más de tres meses en Irlanda, y la restricción de 90 días se cuenta por separado para los demás países de la UE que no están en el espacio Schengen (Bulgaria, Croacia, Chipre y Rumanía, si no me falla la memoria). (También hay algunos países no pertenecientes a la UE en el espacio Schengen: Islandia, Noruega, Suiza y Liechtenstein).

Por último, tenga en cuenta que si entró en Gibraltar el día 90 después de entrar en el espacio Schengen, tiene que permanecer fuera del espacio Schengen durante 90 días completos antes de poder volver a entrar. En cambio, si entró en Gibraltar el día 89, puede entrar en el espacio Schengen (por ejemplo, para transitar) siempre que salga antes de la medianoche del día de llegada.

Tenga en cuenta que los días se cuentan como días naturales. Si entras a las 23:55 y sales diez minutos después, eso cuenta como dos días. Si entras a las doce y cinco minutos de la noche y te vas 23 horas y 50 minutos después (o diez minutos más tarde, en todo caso), eso cuenta como un día.