「右クリックでシェルのメニューを表示する」に設定した場合は、登録したボタンが削除できなくなります。 しかし、以下のような操作を行えば、以前のメニューが表示されるので、そこから削除する事ができます。
Shiftキー+右クリック