Como ciudadano australiano, tiene derecho absoluto a vivir en Australia, por lo que no puede "quedarse más tiempo del permitido" en su propio país . Esto es así independientemente del pasaporte que hayas utilizado para entrar: no dejas de ser ciudadano australiano por el hecho de utilizar un pasaporte británico.
Tu hipotética situación de entrar y salir con un pasaporte diferente sería bastante improbable en la práctica, porque todos los visitantes de Australia necesitan obtener un visado (ETA), que no se concederá (debería concederse) si eres ciudadano australiano.
Pero si consigues uno, te quedas más tiempo del permitido y luego intentas salir, lo más probable es que te paren en el aeropuerto y te retengan hasta que puedan confirmar que efectivamente eres ciudadano australiano y, por tanto, no te has quedado más tiempo del permitido. Una vez que lo hagan, ya está, no has cometido ningún delito. Y aunque "deberías" utilizar un pasaporte australiano para entrar y salir de Australia, lo normal es que te dejen salir sin él, aunque esto provoque bastantes quejas, sobre todo porque temen que las compañías aéreas no te dejen volver sin él.
