Nö, dich vom Religionsunterricht abmelden kannst du - bzw. deine Eltern für dich, wenn du noch nicht (voll) religionsmündig bist - jederzeit. Unabhängig davon, ob ein Ersatzunterricht eingerichtet ist oder nicht.
Ich wollte zwar darauf hinaus, dass es in etlichen BL gar keinen Ethik-/Philosophie-/W&N-Unterricht in der Grundschule gibt, aber egal...
In NDS müssen Schüler*innen, die sich vom Religionsunterricht abgemeldet haben (oder von ihren Erziehungsberechtigten abgemeldet wurden) stattdessen an "Werte und Normen" teilnehmen: "Schülerinnen und Schüler, die nicht am Religionsunterricht teilnehmen, sind stattdessen zur Teilnahme am Unterricht Werte und Normen verpflichtet." und "Vom 5. Schuljahrgang an ist nach § 128 NSchG der Unterricht Werte und Normen grundsätzlich dann einzurichten, wenn mindestens zwölf Schülerinnen und Schüler zur Teilnahme an diesem Unterricht verpflichtet sind." (Auszüge aus dem Runderlass "Regelungen für den Religionsunterricht und den Unterricht Werte und Normen" des nds. MK).