USB-to-CAN Compactは、24MHzのCANコントローラークロック周波数ですので、5Kbpsでは動作しません。
このボーレートの場合、ビットタイミングレジスタを正確な値で計算できないためです。

このような状態になったときは、Minimon32.iniファイルを削除して、MiniMonを起動し、別のボーレートでお使いください。