Не вижу что в слове "свалить" такого уж неуважительного. Например, выражения: "Ты что, с луны свалился?" или "Свалился, как снег на голову," - несколько фамильярны, но не оскорбительны. А в них корень тот же.