2007/05/23(水)UDPをTCPにクローンするプログラム

UDPを受信してTCPにクローンするプログラム(複数クライアント対応)。本当はマルチスレッドで書いてあげるべきなのですが、そこまですると(実現する処理に対して)高級するぎる気がしたのでポーリングにしました。

というのも、TCPの通信エラーとかが出たときに(ブロックしないはずの)ソケットへの書き込み(データの送信)がバッファ一杯になるとストールして(止まって)しまうんですよね。もちろんソケットや書き込み時の関数はノンブロッキングに設定しておいても、です。C ではまだ確認していませんが、Perlで書いたときはそうでした。

TCP/IPはただ通信するだけなら簡単ですが、この手のエラー処理を考えはじめると非常に頭を使います。

プログラム

メイン部のみ。適当に main ルーチンを書けば Windows でも Unix系 でも動きます。

int	max_connections=100;
char	buffer[0x10000];
int	connection_pool[max_connections];

int accept_client(int listen_sock) {
	int sock, len;
	struct sockaddr_in sin;

	// accept
	len = sizeof(sin);
	sock = accept(listen_sock, (struct sockaddr *)&sin, &len);
	if (sock<0) error_return("client accept error");

	// 接続者情報
	printf("[%02d] Connection from %s\n", sock, inet_ntoa(sin.sin_addr));
	// ソケットの設定
	set_non_blocking(sock);
	return sock;
}

//////////////////////////////////////////////////////////////////////////////
// server main
//////////////////////////////////////////////////////////////////////////////
int udp2tcp_server_main(int udp_sock, int tcp_sock) {
	int i;
	char buf[1024];
	// select用の設定
	fd_set fdbits;
	fd_set fdbits_org;
	FD_ZERO(&fdbits_org);
	FD_SET(udp_sock, &fdbits_org);
	FD_SET(tcp_sock, &fdbits_org);

	while(1) {
		// Select
		memcpy(&fdbits, &fdbits_org, sizeof(fdbits_org));
		select(FD_SETSIZE, &fdbits, NULL, NULL, NULL);

		// New connection from TCP
		if ( FD_ISSET(tcp_sock, &fdbits) ) {
			int newsock = accept_client(tcp_sock);
			if (newsock>0) {
				// search for free connection pool point
				for(i=0; i<max_connections; i++)
					if (!connection_pool[i]) break;

				if (i<max_connections) {	// ソケット番号をセーブ
					FD_SET(newsock, &fdbits_org);
					connection_pool[i] = newsock;
					dbg("[%02d] save to connection_pool[%d]\n", newsock, i);
				} else {		// 接続を切る
					printf("Connections max\n");
					close(newsock);
				}
			}
		}

		// Recieved from UDP
		int size = 0;
		if ( FD_ISSET(udp_sock, &fdbits) ) {
			size = recv(udp_sock, buffer, BUF_SIZE, MSG_DONTWAIT);
			if (size<0) error_exit2("UDP recv error(%d)", size);
			dbg("[%02d] Recieved UDP %d bytes\n", udp_sock, size);
		}

		// TCP接続クライアントにデータを送信
		for(i=0; i<max_connections; i++) {
			int sock = connection_pool[i];
			if (!sock) continue;
			// socket からデータ受信
			if ( FD_ISSET(sock, &fdbits) ) {
				int s = recv(sock, buf, 1024, MSG_DONTWAIT);
				if (s<0) {
					FD_CLR(sock, &fdbits_org);
					connection_pool[i] = 0;
					dbg("[%02d] clear to connection_pool[%d]\n", sock, i);
					printf("[%02d] Connection close\n", sock);
					close(sock);
					continue;
				}
			}
			// データ送信
			if (size>0) {
				//int s = write(sock, buf, size);
				int s = send(sock, buf, size, MSG_DONTWAIT);
				dbg("[%02d] write TCP %d bytes\n", sock, s);
			}
		}
	}
}

2007/02/04(日)Windows Media Service(WMS) 代替サーバ wmrelay

wmrelayって?

Windows Media エンコーダ(WME9)には小規模なライブ中継機能(ストリーミングサーバ機能)を持っていますが、最大接続数に制限があり*1、中継元のアップ回線が細いといろいろと不都合が起こります。

Windows Media Services(WMS) などを用いて大規模な中継を行ったり、icecastのように複数の協力者で大規模中継を試みたいところですが、WMS は Windows Serverにしか付属せず、高い上に Windows を外部向けサーバとして運用させるのも気乗りしません。

wmrelay を利用すれば、Linux、FreeBSD、通常のWindowsマシンなどで誰でも手軽に中継サーバを実現できます(mmsプロトコルは非対応です)。協力者を集めれば大規模中継も簡単に行えます。

*1 : 標準で5人、最大で50人まで

ダウンロード

wmrelay_win-img.jpg

ライセンス:GPL (Version 2 or later)

  • wmrelay.zip Version 2.13
    • (Windows) wmrelay.exe を実行(ファイル単体でok)
    • (Linux/FreeBSD) wmrelay.pl を Perl 5.8.1 以降で実行

変更履歴

  • Ver2.13 2010/04/10 -b オプションの追加。バッファディフォルトを 64 に変更。
  • Ver2.12 2009/08/24 [Windows] EXE化をActivePerl5.10ベースにしました。
  • Ver2.11 2007/03/08 [Windows] GUIで動作しない不具合を修正しました
  • Ver2.10 2007/02/13 [Windows] GUI操作画面を作成
  • Ver2.01 2007/02/05 Mac等で動かない問題を修正(Thanks to RXさん)
  • Ver2.00 2007/02/03 全面書き直し。pushサーバ機能追加
  • Ver1.00 2005/06/07 初公開

Linux/FreeBSD等での動作

Linux, FreeBSDなどではPerl 5.8.1以降でithreadが有効なものが必要です。.plをWindows環境(GUI)で使用する場合は、GUI-Loftのインストールが必要です(参考サイト)。

「perl -V」として実行したとき「useithreads=define」と出力されればOKです。

~$ perl -V
Summary of my perl5 (revision 5 version 8 subversion 8) configuration:
<中略>
hint=recommended, useposix=true, d_sigaction=define
usethreads=define use5005threads=undef useithreads=define usemultiplicity=define

動作確認

  • エンコードソフト:Windows Media Encoder 9 (WME9)
  • 再生ソフト:Windows Media Player 6.4*2/9.x, Winamp, MPlayer(Linux)
  • wmrelay動作環境:FreeBSD 6.2、Ubuntu 6.10(Linux 2.6)、Windows 2000

音声のみ、動画再生共に確認してます。

*2 : WMV9 Codecが必要です

使い方

wmrelayはコマンドラインから起動します。使用例は次のようになります。

  • 配信元 http://192.168.1.50:8888/
  • 送信ポート 標準値(8080)
    wmrelay http://192.168.1.50:8888/
    
  • 配信元 http://test-stream.dyndns.org:8080/
  • 送信ポート 8000
    wmrelay -p 8000 http://test-stream.dyndns.org:8080/
    
  • 配信元 http://test-stream.dyndns.org:8080/path/file.asf
  • 送信ポート 9000
  • 最大接続数 200
    wmrelay.pl -p 9000 -m 200 http://test-stream.dyndns.org:8080/path/file.asf
    

オプションの解説

-hコマンドラインヘルプを表示します
-cCUI(GUIをオフにして)使用します(Windowsでの動作時のみ)
-p [num]送信に利用するポート番号を指定します(省略時:8080)
-m [num]最大接続数を指定します(省略時:100)
-b [num]バッファサイズを指定。16,32,64,128,256,512,1024 どれか(省略時:64)
-l [file]ログファイル名を指定します。%p はポート番号で置き換わります
-f [file]プッシュサーバモードでのパスワードファイルを指定します(後述)
-a [pass]プッシュサーバモードでのパスワードを指定します(後述)
-sリレー元からのパケット受信情報を表示しません
-dデバッグ情報を表示します

最大接続数の目安

回線速度(アップ速度)をストリームのビットレートで割れば目安がわかります。スピードテストサイトなどで「Upload Speed」を計測してみてください*3

「アップ速度:0.5Mbps ストリーム:136kbps」の場合0.5*1024 / 136 = 3.7647... (connections max)端数は切り捨てて(必ず切り捨てること)3人が理論限界です。

「アップ速度:12.58Mbps ストリーム:226kbps」の場合12.63*1024 / 226 = 57.226... (connections max) 57人が理論限界ですが50人程度にしておくほうが無難です。

*3 : 「Download Speed」は無関係です

push配信モード

ストリーム受信元URLを指定しないと、wmrelayはpushサーバモードで動作します。このモードでは中継クライアント(Windows Media Encoder9)から中継要求(サーバへのプッシュ要求)があった際に中継が開始されます。

中継先ポートには配信に利用するポート(-p port_number)と同じ番号を指定します。公開ポイントは適当で構いません(wmrelayは公開ポイントを無視します)。

wme9_push.png

また1つのプログラム(1つのポート)につき同時に1つのストリームのみが中継可能です。パスワードを指定しないと誰でも中継可能となりますのでご注意ください。サーバを止めるときは CTRL-C を何度か押してください。

共通パスワードモード

ユーザー名に関わらず、特定のパスワードを入力したクライアントの接続をすべて受け付けるモードです。パスワードは起動時に次のように指定します。

wmrelay -a password

ユーザー別パスワードモード

起動時にパスワードファイルを指定することで、ユーザー別のパスワードを設定します。

wmrelay -f password_file

パスワードファイルは「ユーザー名=パスワード」という書式になります。

# この行はコメントです
user1=pass1
user2=himitsu

パスワードの設定されているユーザーが居ない場合や、パスワードファイルがない場合には、誰でも中継可能になりますので注意してください。

クライアント(リスナー)の使いかた

例えば、10.11.22.33 というIPのマシンにおいて、標準状態の 8080 で中継した場合は、クライアントは次のようにアクセスします。

http://10.11.22.33:8080/

ブラウザから .asx ファイルを経由して表示させたい場合は、ブラウザで次のアドレスにアクセスするよう指示します。

http://10.11.22.33:8080/relay.asx

参考資料

2007/01/25(木)HTTP asf (wmv/wma)ストリームのpush配信プロトコル

Windows Media Player 9(WMV9) などによるHTTPストリームデータの仕様は以下のサイトに書かれていますが、push配信については記述がありません。その点について解析を行いました。

http://sdp.ppona.com/

匿名push配信時のプロトコル解析

クライアントからサーバへのリクエスト。

POST /test HTTP/1.1
Content-Type: application/x-wms-pushsetup
X-Accept-Authentication: NTLM, Digest
User-Agent: WMEncoder/9.0.0.3287
Host: 192.168.0.1:8080
Content-Length: 0
Connection: Keep-Alive
Cache-Control: no-cache
Cookie: push-id=0

サーバからクライアントへの応答。

HTTP/1.1 204 No Content
Server: Servet-agent
Content-Length: 0
Date: Tue, 09 Jan 2007 10:02:58 GMT
Pragma: no-cache, timeout=60000
Cache-Control: no-cache
Set-Cookie: push-id=35201712
Supported: com.microsoft.wm.srvppair, com.microsoft.wm.sswitch, com.microsoft.wm.predstrm, 
com.microsoft.wm.fastcache, com.microsoft.wm.startupprofile

注意点

  • (サーバ側では)Connection が keep alive される
  • クライアントが接続テストだけを行ってきた場合は、この時点で終了する。

配信時の接続ではさらに次のように続きます。

POST /test HTTP/1.1
Content-Type: application/x-wms-pushstart
X-Accept-Authentication: NTLM, Digest
User-Agent: WMEncoder/9.0.0.3287
Host: 192.168.0.1:8000
Content-Length: 2147483647
Connection: Keep-Alive
Cache-Control: no-cache
Cookie: push-id=35201712

$H~以下ストリームデータ~

ストリームデータの取り扱い注意

push配信によって渡されるストリームデータは、HTTP Protocol (Pesudo-Stream) のうち「Type Header」のあとに含まれる、「MSS Pre-header」(8byte)がありません。よってこのヘッダに含まれるシーケンス番号やフラグなどを中継サーバ側で生成し追加してやる必要があります(この際、Type Headerにあるパケットサイズも書き換える必要があります)。

  • MSS Pre-header の先頭2byteは、$Hや$Eの場合 "00 0C"、$Dの場合 "00 00" で問題ありません。
  • MSS Pre-header の Length は $D などのパケットヘッダの Length と同じ値を設定します。

Digest認証時のプロトコル解析

Digest認証を求める場合、サーバ側は次のような応答を返します。

HTTP/1.1 401 Unauthorized
Server: Servet-agent
WWW-Authenticate: Digest qop="auth",algorithm=MD5-sess,nonce="XX~XX",charset=utf-8,realm="Digest"
Date: Tue, 09 Jan 2007 10:34:57 GMT
Pragma: no-cache, timeout=60000
Set-Cookie: push-id=98422531
Supported: com.microsoft.wm.srvppair, com.microsoft.wm.sswitch, com.microsoft.wm.predstrm, 
com.microsoft.wm.fastcache, com.microsoft.wm.startupprofile
Content-Length: 0