1) I will need to check the nosei keilim later but I’m fairly certain I’m correct and the Rama is referring to minor children in the father’s household.
2) Explain? The Rama lays out the various remedies available, and says Beis Din can enact whatever they want on the transgressor himself short of nidui. He also lays out criteria of hurting the transgressor (through attacking *his personal obligations* of circumcising his son, burying them, and teaching them Torah) despite the collateral damage to others (what I take to mean minors in the transgressor’s household). That appears to be the upper limit of the allowance- especially with use of the word “afilu”.
3) You are correct, I misquoted what you wrote. However, this refers to the father’s (the transgressor himself) obligation to teach Torah to his son- not as a wanton act against a third party as a form of coercion.
I believe you are learning the wrong lesson from the Rama. He is showing how far one can go in attacking the transgressor *himself*, to the point where it can affect others. Of course he would not allow one to attack a third party directly because it is “beneficial”.
The Rama is laying out examples. I think you need more proof to claim those are the upper limit. There is an argument to be made not giving a child a bris is far more harmful than a protest.
Leaving a child unburied is without doubt harmful to the child itself, unless you assume the father would bury it himself. If you consider it an attack on the father simply because it is the father who is obligated to bury (even for an adult child, so long as the father is the closest heir), you can also consider protesting outside parents house an attack against the father because it is his action they're attacking...
I don't know where to draw the line, but on principal I don't think it's right to say family members are always out of bounds. Any Chiluk you're suggesting between the cases the Rama lays out and other situations needs to be proven.
Before posting, I did some more research, and the נימוקי יוסף ב״ק ל״ט ע״ב ד״ה וקאי brings the Teshuvos R' Platoy (which appears to be the source of שות בנימין זאב) and in addition to the sanctions on the son he adds banishing the transgressors wife from Shul, which would seem to refute your chiluk.
The
Yam Shel Shlomo does attack him
ועוד ראיתי דברים תמוהים בהאי תשובה דר' פלטוי גאון, שכתב מוציאין התינוק מבית הספר. חלילה, במה שכל העולם אינו מתקיים אלא בהבל פיהם של תינוקות (שבת קיט, ע"ב) נבטל בשלמא במילה שעיקר המצוה תלוי באב והיא כבודו, וכן לקבור את מתו עליו מוטל והיא כבודו, גם מה שכתב להוציא את אשתו מבית הכנסת לא נהירא. אם הוא חטא, היא מה חטאה? אשת עכן לא נענשה בחרם של כל קהל ישראל, אלא העמידוה לאיים עליו. קל וחומר בנדון זה, שלא לבייש בת ישראל. וכמדומה שלא יצאו אותם שני דברים מפי הגאון... ומוחרם שרצו בית דין להחמיר עליו למיגדר מילתא, הרשות בידם. ויכולים לגזור ולאסור אף על הדיבור [=עמו]. וכן שלא למול את בנו, ולא לקבור את מתו. אבל לעשות נזיפה לאשתו, אם לא יצא עליה שום שם בישא [=רע] ולא שום סרבנות, פשיטא ופשיטא דלא עבדינן לה מידי [=שאין אנו עושין לה דבר]. וכן להוציא את בניו מבית המדרש או מן הישיבה, חלילה וחלילה. וכן פעם אחת בא מעשה לידי בימי חורפי, שכתב לי חכם אחד, וזקן בדורו בעל הוראה, שאוציא את בני המוחרם מישיבה, ולא השגחתי בו כל עיקר
The שו"ת שבות יעקב, חלק ג, סימן צז does agree with your distinction of household members almost word for word
ואף דנראה לי דאין לנו לזוז אפילו זיז כל שהוא מפסק הבית יוסף ב"שולחן ערוך" ורמ"א [=שתמכו בהענשת המקורבים], ואחריהם אנו נמשכין, ודלא כמהרש"ל, מכל מקום הבו דלא לוסיף עלה [=הבה לא נוסיף על מה שכבר נפסק] לעכב בתו מן החליצה, והיא כבר נסתלקה מרשות אביה ביום חתונתה, ולעגן אותה בחנם, אשר כבר חששו חכמי הש"ס וכל ראשונים ואחרונים לתקנות עגונות, ובפרט לעכב מצווה של החלוץ, שאין לו שום שייכות עם המוחרם... אבל אם החלוצה עצמה גם כן היתה במרד ובמעל הזאת, ודאי יכולים לקנסה
But the Rama does Pasken like the Nimukei Yosef and not the Mahrshal, and it's a chiddush to claim the Rama is going like the Nimukei Yosef in Bris and Kevura but like the Mahrshal re adult family members, and I think it's plausible for contemporary Daas Torah to break from the Shevus Yaakov
FWIW, collective punishment comes up in the Torah in the Mabul, Shechem & Dina, Karachi, Eir Hanidachas, and Amalek (with various explanations and justifications). There is also the pesukim of פוקד עון אבות על בנים & וְשַׂמְתִּ֨י אֲנִ֧י אֶת־פָּנַ֛י בָּאִ֥ישׁ הַה֖וּא וּבְמִשְׁפַּחְתּ֑וֹ and also איש בחטאו יומת with different opinions how to reconcile them.
4. Amalek is a poor example, they are all considered to be perpetually guilty. They have the ability to be megayer as well.
Perhaps according to some, but not according to the
Rambam, who says Amalek was (is) collective punishment and is justified in order to deter other environments from harboring villains.
וממה שכלל אותו גם כן "ספר שופטים" - למחות את 'זרע עמלק' שכמו שיענש האדם האחד ראוי שתענש המשפחה האחת או האומה האחת בעבור שישמעו שאר המשפחות וייראו ולא ירגילו בהפסד כי יאמרו שמא יעשה בנו מה שנעשה בבני פלוני? - עד שאם יולד בהם איש רע מפסיד אשר לא יחוש לרעת נפשו ולא יסתכל ברע שיעשהו לא ימצא עוזר ממשפחתו שיעזרהו על רעותיו שירצה לעשותם.
IINM it's also not clear being Megayer would change the chiyuv to kill them.
Just to reiterate, I do agree it doesn't seem appropriate in this story.