すみません、やって良いのか、実は迷惑、危機感のない行為なのか、判断をお願いします。

私は大雨、大雪、猛暑日、年末年始に出前や配送サービスを利用した時はお釣りから数百円を、配達してくれた方「ご苦労様です」と渡しています。
部屋がエレベーター無しの4階以上だからと、毎回ではなく上記の様な日だけです。
親がやっていたのを見て、それが人と人の関わりの一つなんだと思っていました。
ですが彼氏曰く、やるべきでは無いそうです。

配達員は労働に見合った給料をもらっている。
配達員にだけあげるのはその他の労働者に対して不公平。
お金を渡すのは配達員が不明な金銭を着服したことになり、問題になった時に仕事を失う可能性がある。
女がやると「あの家に行けばお金がある、女だから簡単だ」と思われ、犯罪を招く要因になる。

という理由でです。