Einen Vorgesetzten, der mit "man solle nicht den Schlauen spielen" argumentiert, könnte ich nicht mehr ernst nehmen.
Daher meine Frage: welche Stellung hat Dein Vorgesetzter? Ist das ein Vorarbeiter oder ein Teamleiter? Wer ist die nächste Position darüber? Hier ging es ja ein bisschen hin und her, weil Du Dich mehrfach verschrieben hattest. Im Vertrag steht Gleitzeit. Im Vertrag steht nicht, dass die tägliche Arbeitszeit 8 Stunden beträgt. Ist das richtig so?
Das ist Deine Argumentationsgrundlage. Wenn Du Deine Stunden erfüllt hast, kann er Dir nichts, wenn Du in der Gleitzeit gehst. Aber das sollte grundlegend geklärt werden, wenn Du nicht dauernd Stress haben willst. Daher würde ich den nächsthöheren Vorgesetzten ansprechen und ihn um Vermittlung bitten.