Very good. I am considering Infiniband too, based on the work that is mentioned by Kamal.  Anybody has any idea of the cost involved in Infiniband infrastructure?  <br><br>saji<br><br><div class="gmail_quote">2011/4/15 Ólafur Rögnvaldsson <span dir="ltr">&lt;<a href="mailto:or@belgingur.is">or@belgingur.is</a>&gt;</span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">I agree with Aaron, it&#39;s the low latency of the InfiniBand that makes it a more suitable inter-node fabric than 1/10G Ethernet.<br>

<br>
Kind regards, Ólafur.<br>
<div><div></div><div class="h5"><br>
&gt; Mike,<br>
&gt;<br>
&gt; Its been my experience that latency is the critical issue when running<br>
&gt; wrf in parallel, not raw speed.  I would spec out the latency of 10GigE,<br>
&gt; which I think is about the same as GigE, and compare it to Infiniband.<br>
&gt; I think youll find infiniband is better in this case.<br>
&gt;<br>
&gt; Aaron<br>
&gt;<br>
&gt; Zulauf, Michael wrote:<br>
&gt;&gt; Hi all - quick question.  Does anyone have data or experience comparing<br>
&gt;&gt; the performance and scaling of WRF with cluster interconnects utilizing<br>
&gt;&gt; 10 gigabit ethernet (10GigE) vs Infiniband?<br>
&gt;&gt;<br>
&gt;&gt; We&#39;re looking to expand and update our computing resources, and we&#39;d<br>
&gt;&gt; originally spec&#39;d it with Infiniband.  The nodes will have either dual<br>
&gt;&gt; quad- or hex-core Nehalem type processors.  There&#39;s been some IT<br>
&gt;&gt; pushback, suggesting that we should go with 10GigE.  I don&#39;t have any<br>
&gt;&gt; direct experience with 10GigE, but my experience with 1GigE shows that<br>
&gt;&gt; Infiniband scales far better.<br>
&gt;&gt;<br>
&gt;&gt; I&#39;ve seen what I&#39;d consider marketing material on the web that suggests<br>
&gt;&gt; that 10GigE is comparable to Infiniband, but they don&#39;t specifically<br>
&gt;&gt; mention WRF.  On the other hand, I&#39;ve seen other sites that suggest an<br>
&gt;&gt; Infiniband interconnect is far superior.  Again, these don&#39;t<br>
&gt;&gt; specifically mention WRF.  I know the particular application in use is<br>
&gt;&gt; critical when deciding these things, and that WRF is a pretty demanding<br>
&gt;&gt; application when it comes to the interconnect.<br>
&gt;&gt;<br>
&gt;&gt; My suspicion is that Infiniband is still significantly superior, but if<br>
&gt;&gt; I&#39;m going to be able to make any headway with IT, then I&#39;ll probably<br>
&gt;&gt; need some type of numbers to back up my arguments.<br>
&gt;&gt;<br>
&gt;&gt; Can anyone help?<br>
&gt;&gt;<br>
&gt;&gt; Thanks,<br>
&gt;&gt; Mike<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt; _______________________________________________<br>
&gt; Wrf-users mailing list<br>
&gt; <a href="mailto:Wrf-users@ucar.edu">Wrf-users@ucar.edu</a><br>
&gt; <a href="http://mailman.ucar.edu/mailman/listinfo/wrf-users" target="_blank">http://mailman.ucar.edu/mailman/listinfo/wrf-users</a><br>
<br>
</div></div><font color="#888888">--<br>
Kveðja/regards,<br>
Ólafur Rögnvaldsson<br>
Reiknistofa í veðurfræði - Belgingur<br>
<a href="http://www.riv.is" target="_blank">www.riv.is</a> - <a href="http://www.belgingur.is" target="_blank">www.belgingur.is</a><br>
</font><div><div></div><div class="h5"><br>
<br>
_______________________________________________<br>
Wrf-users mailing list<br>
<a href="mailto:Wrf-users@ucar.edu">Wrf-users@ucar.edu</a><br>
<a href="http://mailman.ucar.edu/mailman/listinfo/wrf-users" target="_blank">http://mailman.ucar.edu/mailman/listinfo/wrf-users</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><br>Saji N Hameed,<br>ARC-ENV, Center for Advanced Information Science and Technology,<br>University of Aizu, Tsuruga, Ikki-machi,<br>Aizuwakamatsu-shi, Fukushima 965-8580,<br>
Japan<br>        <br>Tel: +81242 37-2736<br> email: <a href="mailto:saji@u-aizu.ac.jp">saji@u-aizu.ac.jp</a><br> url: <a href="http://www.u-aizu.ac.jp">http://www.u-aizu.ac.jp</a><br> bib: <a href="http://www.researcherid.com/rid/B-9188-2009">http://www.researcherid.com/rid/B-9188-2009</a><br>