Du solltest Dir als erstes überlegen, ob Du diese Konfrontation zu diesem Zeitpunkt willst. Was nützt eine schlecht vorbereitete Konfrontation, die mehr Schaden anrichtet, als sie bringt?
Als zweites: definiere Deine Ziele. Willst Du nur, dass er Dich um Erlaubnis bittet, oder willst Du darüber hinaus auch eine spürbare Grenze ziehen und ihm eine Lektion erteilen, die ihm zeigt, dass er Dich nicht länger übergehen darf?
Du musst Dich nicht ausnutzen lassen. Auch wenn es etwas schräg klingt, aber warum machst Du es nicht schriftlich? Damit gewinnst Du Zeit, kannst in Ruhe formulieren und auch Deine Besorgnis zum Ausdruck bringen. Und Du kannst nachweisen, was zur Sprache kam.
Lass ihn nicht länger das Geschehen festlegen. Bestimme Du, wann, wo und wie diese Dinge geklärt werden und überlege Dir auch, ob Du Deine Wünsche überhaupt noch durchsetzen kannst. Er hat den Schlüssel? Kannst Du das Schloss auf die Entfernung austauschen lassen? Wie weit bist Du bereit zu gehen und was ist Dir das wert? Hier geht es offenbar um mehr, als eine bloße Unhöflichkeit.