Vertrauensarbeitszeit ist erst mal etwas anderes als Gleitzeit.
Der TE hat auch die "richtige" Gleitzeit ohne Kernarbeitszeit was unter Umständen selten ist.
Interessant wäre, ob es noch einen Arbeitszeit Rahmen gibt, das ist Keine Kernzeit. Sonst könnte man auch von 17 Uhr bis 1 Uhr Nachts arbeiten.
Generell ist das ganz schwierig. Und aus diesem Grund führt man in solchen Betrieben normal auch keine Gleitzeit ein, bzw. mit Kernzeit.
Ich würde zumindest es unterlassen so viel Stunden zu machen das man Freitag frei hat. Ansonsten hat Gleitzeit auch immer eine gewisse Absprache erfordert, wenn man nun nicht gerade der absolute Spezialist ist.
Auch wenn du im Recht bist, und es die BV so vorgibt, sollte man sich ggf. anpassen. Ansonsten muss man eben mit dem ganzen Gegenwind leben oder gehen.
Wobei wenn es dich so stört, wirst du vermutlich nicht glücklich. 40h klingt jetzt auch nicht unbedingt nach IG Metall. Da wirst du bessere Betriebe finden mit 35h Woche oder weniger.