Bisher hatte ich verstanden, dass dein Vorgesetzter deine andersartigen Arbeitszeiten schon toleriert und nur gesagt hat, du solltest es nicht übertreiben. Das hier hört sich jetzt ganz anders an. Es kann 10 x formal gestattet sein, deine Arbeitzeiten flexibel zu legen. Wenn du dich nicht in die Betriebsabläufe einpasst, hat dein Vorgesetzter alle Möglichkeiten dieser Welt, dich zurückzupfeifen. Für mich ist hier der relevante Punkt, dass du offensichtlich nicht arbeitest, wenn du alleine vor Ort bist. Dem hast du bisher auch trotz ausdrücklicher Nachfrage nicht widersprochen. Außerdem empfindet er dann wohl schon, dass du den Betriebsfrieden störst. Und alles formale Entgegenkommen eines Arbeitgebers gilt nur, wenn das nicht geschieht. Dass man dich auffordert, dich den Gegebenheiten im Betrieb wieder anzupassen ist daher m. M. durchaus legitim. Wenn dir das nicht passt: Such dir einen anderen Job.
Die Personalabteilung vertritt übrigens i. d. R. die Interessen der Vorgesetzten. Solltest du hier Antworten in deinem Sinn erhalten haben, könnte es daran liegen, dass du nicht die ganze Wahrheit erzählt hast, woran sich die Debatte entzündet.