最初からついているリンクボタン機能では同一画面で開きます。
私は別サイトに飛ばす場合など、別ウインドウ表示にしています。

これを分けるためにtarget ="_blank"を埋め込んだリンクを別に用意します。

エントリーの投稿で色ボタン設定と作業自体は殆ど変わりません。
　１．画像のアップロード
　２．編集画面のソースを付け足す
　３．javascriptの作成
の３点になります。

１．イメージファイルをアップロード
　/cgi/mt/mt-static/imagesの配下に画像gifをアップロードします。

よろしければダウンロードして使ってください。

２．cgi/mt/tmpl/cms/edit_entry.tmplを修正

348行目からがエントリーの内容、376行目からが追記のボタンを決めています。
348行目からのエントリー用ボタン郡で

write('<a title="<MT_TRANS phrase="Insert Link2">" href="#" onclick="return insertLink2(document.entry_form.text)"><img src="<TMPL_VAR NAME=STATIC_URI>images/new.gif" alt="<MT_TRANS phrase="Insert Link">" width="22" height="16" /></a>');

３７６行目からの追記用ボタン郡で

write('<a title="<MT_TRANS phrase="Insert Link2">" href="#" onclick="return insertLink2(document.entry_form.text_more)"><img src="<TMPL_VAR NAME=STATIC_URI>images/new.gif" alt="<MT_TRANS phrase="Insert Link">" width="22" height="16" /></a>');

を追加

３．/cgi/mt/mt-static/mt_ja.jsを修正

場所はfunction insertLink (e, isMail) {の上あたりに

function insertLink2 (e, isMail) {
if (!canFormat) return;
var str = getSelected(e);
var link = '';
if (!isMail) {
if (str.match(/^https?:/)) {
link = str;
} else if (str.match(/^(\w+\.)+\w{2,5}\/?/)) {
link = 'http://' + str;
} else if (str.match(/ /)) {
link = 'http://';
} else {
link = 'http://' + str;
}
} else {
if (str.match(/@/)) {
link = str;
}
}
var my_link = prompt(isMail ? 'Enter email address:' : 'Enter URL:', link);
if (my_link != null) {
if (str == '') str = my_link;
if (isMail) my_link = 'mailto:' + my_link;
setSelection(e, '<a href="' + my_link + '" target="_blank">' + str + '</a>');
}
return false;
}

と追記してください。
以上です。