どう思うかは相手次第、状況次第だと思いますよ。
それに主さんが自分の事を仕事が出来ないと言っても実際には気に病むことのない大したことのないレベルかもしれない。
でもそれは宛メの人じゃ判断できないし、私個人の視点で述べるなら
『程度による。自分が嫌な気分にならずカバーできる範囲でなら気にしない。』
ってなります。
バイトを辞めるのにしても
『今辞められると業務に支障がでて回らないから困る』
ってケースはそこまでないと思います。
(既に決まってるシフトを一方的に全放棄とか除く)
仕事として任せられないって判断した場合、雇う側としてはまず改善を促し、それでもダメなら辞めてくれって流れを踏むので、本当にヤバかったら何かしら指摘してくれるはずです。
それがないうちはまだ大丈夫だと考えて、バイトを続けてみてはどうですか?