Es muss ja nicht mal sein, dass die Mutter dir direkt unterstellt, du wölltest was Böses mit den Kindern anstellen (auch wenn das sicher ebenfalls eine Rolle spielt). Ich würde dich als Mutter allein deshalb nicht zu stark in die Familie und meine Kinder einbinden wollen, weil du nach 3 Jahren zwar quasi ein "Anwärter auf Familienzugehörigkeit" bist und quasi "auf Probe" mal dazugerechnet wirst. Aber es ist ja noch lange nicht gesagt, dass du ein dauerhaftes Familienmitglied wirst. Theoretisch könnte morgen schon Schluss sein.
Als Erwachsener ist das kein Thema. Die können in Trennungsfällen selbst recht gut entscheiden, inwiefern noch Kontakt zum Ex-Partner eines Verwandten oder Freundes bestehen soll, wenn man sich gut versteht. Aber für Kinder kann es der Horror werden, wenn ihnen ständig neue Familienmitglieder vorgestellt werden und sie mit diesen (viel) Zeit verbringen und dann sind die plötzlich wieder weg. Ergo hat niemand was dagegen, wenn du auf einer Feier mit den Kids spielst, aber eine zu tiefe Bindung wird (vorerst) vermieden. Zumindest bis sicher ist, dass du ein dauerhafter Teil der Familie wirst (etwa weil ihr schon 10 Jahre zusammen oder gar verheiratet seid) und sie dich auch charakterich besser einschätzen können.
Aus demselben Grund werden auch die Erwachsenen noch etwas distanzierter sein. Sie haben dich kaum gesehen und wollen wohl noch abwarten, wie sich die Beziehung zu deinem Freund entwickelt, ehe sie mit dir eine tiefere Bindung aufbauen. Es ist gut möglich, dass du mit der Zeit mehr als nur das Anhängsel deines Partners wirst (das du im Moment nunmal noch bist), aber die nächsten paar Jahre wird das schon noch in Anspruch nehmen.
Bleibe einfach locker, freundlich und warte etwas ab, wie sich alles entwickelt. Ich bin mir sicher, dass sie dich mit der Zeit zunehmend stärker einbinden werden.