<div dir="ltr">Hi Mary:<br><div><br></div><div>Thanks.</div><div><br></div><div>A most pertinent question: how hard will it be for someone who has worked hard to "know" NCL to transition to Python.</div><div><br></div><div>Also, keep in mind that I (and others) have written 10s of programs in NC, and these would need to be rewritten.</div><div><br></div><div>Barry</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 7, 2019 at 12:59 AM Mary Haley <<a href="mailto:haley@ucar.edu">haley@ucar.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small">Hi Barry,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I encourage folks to read the report, as it covers in detail why the decision to transition to Python, and what Python brings to the table:</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default"><a href="http://www.ncl.ucar.edu/Document/Pivot_to_Python/NCL_Pivot_to_Python_Report_and_Roadmap.pdf" target="_blank">http://www.ncl.ucar.edu/Document/Pivot_to_Python/NCL_Pivot_to_Python_Report_and_Roadmap.pdf</a><br></div><div class="gmail_default"><br></div><div class="gmail_default">There's a section "Why Python" (starts on page 5) that explains some of the reasoning behind this decision.</div><div class="gmail_default"><br></div><div class="gmail_default">Here's the pertinent part of that section:</div><div class="gmail_default"><br></div><div class="gmail_default"><div class="gmail_default"><b>Why Python?</b></div><div class="gmail_default">Python has gained widespread acceptance by universities and research organizations around the world and is being adopted as the programming language of choice for scientific computing. This is evidenced by several factors: 1) the availability of quality scientific Python modules via the SciPy ecosystem, 2) the continued and growing popularity of the annual SciPy conference, now in its 17th year, 3) the availability of books on Python for scientists, and 4) the increasing number of scientific graduate students who are learning Python in college as an open source alternative to other non-free software like IDL and MATLAB. In September 2018—for the first time in history—Python entered the TIOBE index top 3 (<a href="http://www.tiobe.com" target="_blank">www.tiobe.com</a>), a measure of popularity of programming languages based on search engine results.</div><div class="gmail_default"><br></div><div class="gmail_default">Python has picked up rapid steam in the geoscientific community as well. For the last eight years the American Meteorological Society Annual Meeting has hosted a popular and well-attended symposium on the “Advances in Modeling and Analysis Using Python”. NCAR is a major partner in the Pangeo (<a href="http://pangeo.io" target="_blank">pangeo.io</a>) community, an NSF EarthCube funded effort that provides an “open source scientific Python ecosystem for ocean / atmosphere / land / climate science” and is focused on providing tools and support for handling petabyte-scale datasets on HPC and cloud platforms. There are hundreds of scientific Python modules that provide domain-specific functionality for reading/writing data, computational analyses, and visualization. The benefit of these individual packages is that they are usually specialized for a specific domain or class of problems, thus filling a critical need that a more general-purpose language cannot.</div><div class="gmail_default"><br></div><div class="gmail_default">The Python language itself provides rich language features that NCL does not have, including optional arguments, a robust interactive interface, generators, exception handling, and built-in debugging and testing. The Python community has a rapidly growing base of scientific software developers that are able to address the growing needs of the geoscientific community much faster than we can in the areas of scalability, interfaces to other languages like R for statistical calculations, and support for a wider range of complex data formats. By replacing the NCL language with the Python language, the NCL user base will instantly gain access to these features, and we will be able to benefit from the already vibrant and active open development Python community. Python itself has been open developed since October 2000.</div><div class="gmail_default">Last but not least, it is becoming harder to hire developers who want to work on a programming language with a narrow focus, versus a highly visible and mainstream language like Python.</div><div class="gmail_default"><br></div><div class="gmail_default">I hope this addresses your questions.</div><div class="gmail_default"><br></div><div class="gmail_default">--Mary</div><div class="gmail_default"><br></div></div><div class="gmail_default"></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Feb 6, 2019 at 7:29 AM Barry Lynn <<a href="mailto:barry.h.lynn@gmail.com" target="_blank">barry.h.lynn@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello Mary:<br><div><br></div><div>Could you please help us understand what critical features are missing from NCL but present in python so that we better understand why we should switch.</div><div><br></div><div>Thank you,</div><div><br></div><div>Barry</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Feb 6, 2019 at 3:23 PM Mary Haley <<a href="mailto:haley@ucar.edu" target="_blank">haley@ucar.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div><div>Dear NCL Users,</div><div><br></div><div>This letter is in regard to the future of NCL, following NCAR's decision to move to Python as the scripting language of choice for future visualization and analysis software development. Note that this decision targets new development, leaving existing NCL functionality intact.</div><div><br></div><div>NCAR is committed to supporting data analysis software for atmospheric, oceanic, and climate science research. However, decreases in budgets and staff, coupled with the enormous functionality that Python brings to the earth sciences, has made it difficult to justify continuing new development on NCL. Python has seen rapid adoption by the earth science community and duplicates much of NCL's functionality, while adding critical features that NCL doesn't offer.</div><div><br></div><div>Based on recommendations from NSF, CISL and NCL advisory panels, the results of the NCL survey, and months of evaluating different strategies for the future development and support of NCL, NCAR has arrived at these major decisions, effective immediately:</div><div><ul><li>Python will be adopted as the scripting language platform for future visualization and analysis development.<br></li><li>NCL's core language and file I/O will be placed into maintenance mode.</li><li>NCL's graphics will have continued development through <a href="http://www.pyngl.ucar.edu" target="_blank">PyNGL</a><font color="#ff0000"><b>*</b></font>.<br></li><li>NCL's unique and critical computational routines will be ported to an as-yet-to-be-named Python package.<br></li><li><a href="http://www.pyngl.ucar.edu/Nio.shtml" target="_blank">PyNIO</a><b style="color:rgb(255,0,0)">*</b> will be placed into maintenance mode.<br></li><li>Development will continue on <a href="https://wrf-python.readthedocs.io/en/latest/" target="_blank">WRF-Python</a><b style="color:rgb(255,0,0)">*</b>.</li><li>All software, including NCL and PyNIO, will be moved to a more open development software platform to allow for continued community development.</li></ul></div></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div dir="ltr"><div><div><b style="color:rgb(255,0,0)">*</b> PyNIO, PyNGL, and WRF-Python are Python modules built on top of NCL libraries, and are developed and supported by the NCL team.</div></div></div></blockquote><div dir="ltr"><div><div><br></div><div>NCAR recognizes the significance of these changes. It will take time for NCL users to transition to Python, and some users may not want to make the switch at all. As such, we want to stress that NCL is not going away. NCL users will be able to download NCL and execute their scripts for the foreseeable future.</div><div><br></div><div>To help users who want to begin transitioning their graphical NCL scripts to PyNGL right away, Karin Meier-Fleischer of DKRZ has written a first draft of an "<a href="http:///www.ncl.ucar.edu/Document/Manuals/NCL_to_Python/Transition_Guide_NCL_PyNGL.pdf" target="_blank">NCL-to-Python Transition Guide</a>" accompanied by <a href="http://www.ncl.ucar.edu/Applications/NCL_to_Python/" target="_blank">a suite of NCL and Python examples</a>.  Additionally, we will soon begin converting a subset of the NCL application examples to Python, using <a href="http://www.pyngl.ucar.edu/" target="_blank">PyNGL</a> and <a href="https://matplotlib.org" target="_blank">matplotlib</a>, and will continue to answer questions on the <a href="http://mailman.ucar.edu/mailman/listinfo/ncl-talk" target="_blank">ncl-talk</a> email list, but scaling back in order to start helping with Python questions.</div><div><br></div><div>For a detailed report and roadmap on the "pivot to Python" decision and transition plan, please read the "<a href="http://www.ncl.ucar.edu/Document/Pivot_to_Python/NCL_Pivot_to_Python_Report_and_Roadmap.pdf" target="_blank">NCL and the Pivot to Python: Discussion and Roadmap</a>" report, which can be found on a special page we created containing <a href="http://www.ncl.ucar.edu/Document/Pivot_to_Python/" target="_blank">other supporting documents</a>.</div><div><br></div><div>The NCL team welcomes your input on this decision. We also want to know if there are other ways we can help ease the transition to Python and encourage users to become more active contributors through open development. Please use <a href="https://github.com/NCAR/ncl/issues/64" target="_blank">this GitHub issue</a> to submit questions or comments so we can keep the discussion public.</div><div><br></div><div><b>NCL Team:</b></div><div>John Clyne (acting group head)</div><div>Rick Brownrigg</div><div>Mary Haley</div><div>Kevin Hallock</div><div>Bill Ladwig</div><div><br></div><div><br></div><div><br></div><div style="font-size:small"><br></div></div></div></div>
_______________________________________________<br>
ncl-talk mailing list<br>
<a href="mailto:ncl-talk@ucar.edu" target="_blank">ncl-talk@ucar.edu</a><br>
List instructions, subscriber options, unsubscribe:<br>
<a href="http://mailman.ucar.edu/mailman/listinfo/ncl-talk" rel="noreferrer" target="_blank">http://mailman.ucar.edu/mailman/listinfo/ncl-talk</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_3887226751456358009gmail-m_7646205599586608170gmail_signature"><div dir="ltr"><div><div dir="ltr">Barry H. Lynn, Ph.D<div><div>Senior Associate Scientist, Lecturer,</div><div><div><span style="color:rgb(136,136,136)">The Institute of the Earth Science, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">The Hebrew University of Jerusalem, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Givat Ram, Jerusalem 91904, Israel </span><br style="color:rgb(136,136,136)"></div><span style="color:rgb(136,136,136)">Tel: 972 547 231 170</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Fax: (972)-25662581</span></div></div><div><span style="color:rgb(136,136,136)"><br></span></div><div>C.E.O, Weather It Is, LTD<br>Weather and Climate Focus<br><a href="http://weather-it-is.com" target="_blank">http://weather-it-is.com</a><br>Jerusalem, Israel<br>Local: 02 930 9525<br>Cell: 054 7 231 170<br>Int-IS: x972 2 930 9525<br><br></div></div></div></div></div>
</blockquote></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr">Barry H. Lynn, Ph.D<div><div>Senior Associate Scientist, Lecturer,</div><div><div><span style="color:rgb(136,136,136)">The Institute of the Earth Science, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">The Hebrew University of Jerusalem, </span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Givat Ram, Jerusalem 91904, Israel </span><br style="color:rgb(136,136,136)"></div><span style="color:rgb(136,136,136)">Tel: 972 547 231 170</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">Fax: (972)-25662581</span></div></div><div><span style="color:rgb(136,136,136)"><br></span></div><div>C.E.O, Weather It Is, LTD<br>Weather and Climate Focus<br><a href="http://weather-it-is.com" target="_blank">http://weather-it-is.com</a><br>Jerusalem, Israel<br>Local: 02 930 9525<br>Cell: 054 7 231 170<br>Int-IS: x972 2 930 9525<br><br></div></div></div></div></div>