Data scientists

Mining the tar sands of big data
by Michael E. Driscoll | February 14, 2011

This post was co-authored by Roger Ehrenberg, founder and managing partner at IA Ventures. A variation of this post was published by the GigaOm Media network.

The tar sands of Alberta, Canada contain the largest reserves of oil on the planet. However, they remain largely untouched, and for one reason: economics. It costs as much as $40 to extract a barrel of oil from tar sand, and until recently, petroleum companies could not profitably mine these reserves.

In a similar vein, much of the world’s most valuable information is trapped in digital sand, siloed in servers scattered around the globe. These vast expanses of data — streaming from our smart phones, DVRs, and GPS-enabled cars — require mining and distillation before they can be useful.

Both oil and sand, information and data share another parallel: in recent years, technology has catalyzed dramatic drops in the costs of extracting each.

Unlike oil reserves, data is an abundant resource on our wired planet. Though much of it is noise, at scale and with the right mining algorithms, this data can yield information that can predict traffic jams, entertainment trends, even flu outbreaks.

These are hints of the promise of big data, which will mature in the coming decade, driven by advances in three principle areas: sensor networks, cloud computing, and machine learning.The first, sensor networks, historically included devices ranging from NASA satellites and traffic monitors to grocery scanners and Nielsen rating boxes. Expensive to deploy and maintain, these were the exclusive province of governments and industry. But another, wider sensor network has emerged in the last decade: smart phones and web-connected consumer devices. These sensors — and the Tweets, check-ins, and digital pings they generate — form the tendrils of a global digital nervous system, pulsing with petabytes.

Just as these devices have multiplied, so have the data centers that they communicate with. Housed in climate-controlled warehouses, they consume an estimated 2 percent — and represent the fastest growing segment — of the United States energy budget. These data centers are at the heart of cloud computing, the second driver of big data.

Cloud computing reframes compute power as a utility, like electricity or water. It offers large-scale computing to even the smallest start-ups: with a few keystrokes, one can lease 100 virtual machines from Amazon’s Elastic Compute Cloud for less than $10 per hour.

Yet this computing brawn is only valuable when combined with intelligence. Enter machine learning, the third principle component driving value in the industrial age of data.

Machine learning is a discipline that blends statistics with computer science to classify and predict patterns in data. Its algorithms lie at the heart of spam filters, self-driving cars, and movie recommendation systems, including one to which Netflix awarded its million-dollar prize to in 2009. While data storage and distributed computing technologies are being commoditized, machine learning is increasingly a source of competitive advantage among data-driven firms.

Together, these three technology advances lead us to make several predictions for the coming decade:

1. A spike in demand for “data scientists.” Fueled by the oversupply of data, more firms will need individuals who are facile with manipulating and extracting meaning from large data sets. Until universities adapt their curricula to match these market realities, the battle for these scarce human resources will be intense.

2. A reassertion of control by data producers. Firms such as retailers, banks, and online publishers are recognizing that they have been giving away their most precious asset — customer data — to transaction processors and other third-parties. We expect firms to spend more effort protecting, structuring and monetizing their data assets.

3. The end of privacy as we know it. With devices tracking our every point and click, acceptable practice for personal data will shift from preventing disclosures towards policing uses. It’s not what our databases know that matters — for soon they will know everything — it’s how this data is used in advertising, consumer finance, and health care.

4. The rise of data start-ups. A class of companies is emerging whose supply chains consist of nothing but data. Their inputs are collected through partnerships or from publicly available sources, processed, and transformed into traffic predictions, news aggregations, or real estate valuations. Data start-ups are the wildcatters of the information age, searching for opportunities across a vast and virgin data landscape.

The consequence of sensor networks, cloud computing, and machine learning is that the data landscape is broadening: data is abundant, cheap, and more valuable than ever. It’s a rich, renewable resource that will shape how we live in the decades ahead, long after the last barrel has been squeezed from the tar sands of Athabasca.

Royal Spanish Society of Physics in Asturias

water dropWhat is RSEF?

The Royal Spanish Society of Physics is a society which main objet is to spread the physics, along the whole spanish territory, both from a fundamental and technical applications point of view. There are two kind of members, single and enterprise. RSEF is also member of the European Society of Physics and of Iberamerican Society of Physics. Organization of the RSEF is divided in different specialized thematic groups related with the different areas of the physics.

Recent Activities organized by RSEFAS

April 09: Workshop on Newton Telescope Construction
36 hours of duration from 6th to 10th of April. 14 seats were available.
Co-Organized by Faculty of Science.
Dpt. Physics, Mathematics and Statics.
Download the cover

March 09: Local Physics Olympic Games.
4 hours of duration on 21th of March. 40 participants.
Co-Organized by Faculty of Science.

November 08: Conferences Program: What kind of profession is the Physics?
3 Conferences from October to November.
Co-Organized by Faculty of Science.
Download the cover

February 08: Local Physics Olympic Games
4 hours of duration on 23th of February. 80 participants. 
Co-Organized by Faculty of Science.
Download the cover

April 08: Nacional Olympic Games
72 hours of duration on April 2008. 280 participants.
Co-Organized by Faculty of Science.
Partially financial supported by PCTI Principado de Asturias, Universit of Oviedo, MINCIN, and Ayuntamiento de Mieres.
Download the cover

November 07: Conferences Program: R&D+Physics
5 Conferences from October to November Co-Organized by Faculty of Science.
Partially financial supported by PCTI Principado de Asturias.
Download the cover

Memoria de Actividades realizadas por la Sección Local de Asturias de la RSEF entre 2006 y 2010

Con motivo de la fase local de la Olimpiada de Física 2007, se realizaron una serie de actividades paralelas que llamamos «Semana de la Física» (21-24 Febrero 2007). Dichas actividades constaron de la organización de la fase local de la citada Olimpiada de Física y la realización y exposición por parte de estudiantes de doctorado de una serie de pósteres divulgativos de sus investigaciones. Con esa exposición se pretendía dar a conocer de primera mano los temas de mayor actualidad en Física sobre los que se trabaja intensamente en los diferentes grupos de investigación del Departamento de Física. En la realización de esta actividad colaboraron la Facultad de Ciencias, el Departamento de Física y la empresa Arcelor-Mittal. Se seleccionaron 10 pósteres, que fueron enmarcados a cargo de la Facultad y Departamento y decoran ahora las paredes de la Facultad de Ciencias. Por su parte, Arcelor-Mittal premió al que fue escogido como mejor póster por un comité designado a tal efecto. El acto de entrega de premios tanto de la olimpiada de física 2007, como del mejor póster tuvo lugar en el Aula Magna del Edificio Histórico de la Universidad de Oviedo.

Durante el año 2007, también se puso en marcha el portal web de la sección local http://rsefas.uniovi.es, el cual ha conseguido más de 80.000 visitas desde su puesta en marcha en febrero de 2007. Este mismo año, con motivo de la celebración del año mundial de la ciencia, se realizó bajo el título «I+D+Física» un ciclo de conferencias de carácter divulgativo que ha tratado sobre los diversos aspectos relacionados con los trabajos llevados a cabo por los físicos en el ámbito de la Investigación y el Desarrollo, tanto en la universidad como en la empresa. El objetivo de la actividad ha sido el de exponer algunas de las diferentes salidas profesionales que pueden se encontrar los estudiantes de carreras de científico-técnicas una vez concluidos sus estudios, permitiéndoles de este modo tener un primer encuentro con su futuro profesional. Esta actividad fue financiada con cargo al proyecto PCTI07-15 para ayudas a la realización de acciones de difusión y divulgación de la ciencia  en el marco del año mundial de la ciencia 2007.

Visto el éxito de las conferencias del año anterior, se repitió al año siguiente con un nuevo ciclo, esta vez titulado «Física en acción: ¿Qué hacen los físicos?«, de similar temática, que permitió ampliar el ramillete de experiencias laborales disponibles. Esta actividad también fue financiada con cargo al proyecto DIF08-17 para ayudas a la realización de acciones de difusión y divulgación científica y tecnológica en el marco de la semana de la ciencia 2008.

Durante el mes de febrero del año 2008, la sección local ha organizado la correspondiente fase local de la Olimpiada de física 2008 con más de 80 participantes. En marzo de ese mismo año, la sección local tuvo la oportunidad de organizar y coordinar la organización de la fase final de la Olimpiada Nacional de Física, en la que han participado 131 estudiantes de los 44 distritos universitarios españoles participantes. Existe una memoria que resume la actividad desarrollada a disposición de todos los socios.

En el año 2009 ha sido organizada, como todos los años, la correspondiente fase local de la olimpiada de física 2009 con 46 participantes.

Durante el mes de Abril de este año 2009, declarado año mundial de la astronomía, se ha realizado un taller de construcción de telescopios. Esta actividad ha sido co-organizada por la sección local de la RSEF, los departamentos de Física, Matemáticas y Estadística y la Facultad de Ciencias de la Universidad de Oviedo. Han participado 14 estudiantes de las licenciaturas de física y matemáticas y el evento fue recogido ampliamente en la prensa regional, tanto escrita como hablada (ver información en nuestra web).

Durante el este último año 2010 de mandato de la actual Junta de Gobierno, la sección local ha venido continuando con sus actividades en la misma línea de trabajo que en años anteriores.

La correspondiente fase local de la olimpiada de física 2010 ha contado con la participación de 69 participantes de 22 centros diferentes de ESO.

Además se ha celebrado la II edición del TCT Taller de Construcción de Telescopios. Nuevamente el TCT ha sido co-organizado por la sección local de la RSEF, los departamentos de Física, Matemáticas y Estadística y la Facultad de Ciencias de la Universidad de Oviedo. Este año se le ha dado una orientación más didáctica al TCT orientando éste de manera más acusada hacia la Educación Secundaria. De esta manera han participado 31 estudiantes de 11 centros de ESO de la la región así como una estudiante de la licenciaturas de física.

El evento fue recogido ampliamente en la prensa regional, tanto escrita como hablada (ver información en nuestra web).

La sección local ha co-patrocinado el I Workshop en Ablación Laser (18 y 19 de Noviembre. Facultad de Química de la Universidad de Oviedo). De esta manera, la sección local ha obtenido dos inscripciones para el workshop seleccionando a dos estudiantes para su participación en dicho congreso. http://www.unioviedo.es/workshoplaicpms

Además, durante este último trimestre del año y con motivo de la celebración de la Semana de la Ciencia se ha organizado un ciclo de conferencias titulado ¿Qué es y para qué sirve la Física?. Esta actividad, como en años anteriores, se ha incluido en la convocatoria específica del PCTI del Principado de Asturias para Realización de acciones de difusión y divulgación científica y tecnológica en el marco de la semana de la ciencia 2010. Ref. DIF10-008.

Toda la información es accesible desde los distintos medios relacionados con la Semana de la ciencia. www.semanadelaciencia.es, www.ficyt.es/ciencia, y en nuestra web.

Acto de entrega de Premios Olimpiada Local de Física 2011

OlimpiadaEl acto de entrega de Premios de la Fase Local de la Olimpiada de Física 2011 tendrá lugar el día 31 de Marzo de 2011, a partir de las 17:30 h, en la Facultad de Ciencias de la Universidad de Oviedo. El programa preliminar de actividades será:

  1. Visita a la Facultad
    • Biblioteca
    • Aula B08 para tutorías grupales
    • Laboratorio de Técnicas Experimentales II
    • Laboratorio de Sputtering
  2. Entrega de Premios y Diplomas
    • Presentación del Grado de Física (~10 min)
    • Presentación Salidas profesionales de la Física (~7 min)
    • Presentación Facultad de Ciencias (~7 min)
    • Entrega de Diplomas
  3. Refrescos y bollería

Información sobre la Fase Local de la Olimpiada de Física 2011

OlimpiadaLa Fase Local de la Olimpiada de Física del Principado de Asturias ha tenido lugar el sábado, 05 de marzo de 2011, en las aulas de la Facultad de Ciencias, de la calle Calvo Sotelo de Oviedo.

Ya está disponible la clasificación y el examen con su solución:

  • [download id=»21″ format=»2″]
  • [download id=»22″ format=»2″]

Aquellos participantes que lo deseen podrán solicitar un diploma de participación donde figura la puntuación obtenida en la prueba. Para solicitar dicho diploma, se debe enviar un email a la dirección rsef.asturias[ARROBA]gmail[PUNTO]com indicando en el asunto «Diploma».

En los próximos días nos pondremos en contacto con los tres primeros clasificados (y con sus respectivos centros) para iniciar los trámites correspondientes para la preparación de la Fase Nacional.

¡¡Enhorabuena a todos los clasificados y muchas gracias a todos los que habéis participado por vuestra colaboración!!