"Continuous mode"を選ぶ。

するとチェックが付く。

NSMenuItemを有効にする為に AppControllerに IBActionメソッドを用意し、IBでメニューのアクションをこれに接続する。これでメニューが有効になる。そして IBACtion内で NSMenuItem#setState: を呼出してやれば良い。
こんな感じ。
- (IBAction)switchContinuousMode:(id)sender
{
[_capture_controller switchContinuousMode];
if ([_capture_controller continuousMode]) {
[sender setState:NSOnState];
} else {
[sender setState:NSOffState];
}
}