Сожалею, что вас это выражение нервирует, но так уж в моей семье повелось.

И пофигу мне бывшее и нынешнее положение людей, всё отличие которых только в чёрной(белой, желтой, фиолетовой) коже.

Если говорить конкретно про Африку и про рабов в Африке, то меня неоднократно просили пожертвовать копейку каким-то идеалистам, которые ездят в Судан выкупать у местных негров-мусульман рабов негров-христиан.
Моя мысль: понятия "раб" и "рабовладелец" не определяются цветом кожи и уж точно не ограничиваются "классической" схемой Юга США или Бразилии "белый рабовладелец - чёрный раб".