0
2 385
PDF

POLITICAL MANIPULATION IN SOCIAL MEDIA

Abstract

With the growing popularity of online social networks and microblogging platforms, social media have become an information field where sometimes diametrically opposed positions on various issues collide. This article focuses on a particularly sophisticated form of social media abuse aimed at manipulating online political discourse. Grassroots campaigns can be simulated through techniques dubbed “AstroTurf” to promote a particular viewpoint or candidate, to slander an opponent or simply incite, and even, for example, to suppress voting. Such deception inherently does not imply the possibility of compromise and contradicts the ideas of democratic dialog, both in individual social groups and in society as a whole. On this basis, an attempt is made to touch upon various attacks of this kind and to determine the prospects for their detection using the given algorithms.

Keywords

AstroTurf, social media, grassroots movements, microblogging, Twitter, aggregators, public opinion, manipulation, tweet, retweet, spam, RSS feed, hashtag, algorithm, PageRank.

Author

Урдашев Азамат Бахтиярович, Усмонов Фаррухбек Бахтиярович

Политические манипуляции в социальных сетях

Political manipulation in social media

Урдашев Азамат Бахтиярович

преподаватель кафедры общественных наук УзГУМЯ

Email: aurdashev@gmail.com

Усмонов Фаррухбек Бахтиярович

Студент Университета УзГУМЯ направления политология 

 

 

Аннотация: С ростом популярности онлайновых социальных сетей и платформ микроблогов социальные медиа стали информационным полем, на котором сталкиваются порой диаметрально противоположные позиции по тем или иным вопросам. В настоящей статье сфокусировано внимание на  особенно изощренном виде злоупотребления социальными медиа, направленном на манипулирование политическим дискурсом в сети. Низовые кампании могут имитироваться с помощью методов, получивших название "астротурф", с целью продвижения определенной точки зрения или кандидата, клеветы на оппонента или просто подстрекательства, и даже, например, подавления голосования. Такой обман изначально не предполагает возможность достижения компромисса и противоречит идеям демократического диалога, как в отдельных социальных группах, так и в обществе целом. Исходя из этого, предпринята попытка затронуть различные атаки подобного рода и определить перспективы их обнаружения по заданным алгоритмам.

Ключевые слова: астротурф, социальные сети, низовые движения, микроблоги, Twitter, агрегаторы, общественное мнение, манипуляции, твит, ретвит, спам, RSS-канал, хэштег, алгоритм.

 

Abstract: With the growing popularity of online social networks and microblogging platforms, social media have become an information field where sometimes diametrically opposed positions on various issues collide. This article focuses on a particularly sophisticated form of social media abuse aimed at manipulating online political discourse. Grassroots campaigns can be simulated through techniques dubbed “AstroTurf” to promote a particular viewpoint or candidate, to slander an opponent or simply incite, and even, for example, to suppress voting. Such deception inherently does not imply the possibility of compromise and contradicts the ideas of democratic dialog, both in individual social groups and in society as a whole. On this basis, an attempt is made to touch upon various attacks of this kind and to determine the prospects for their detection using the given algorithms.

Keywords: AstroTurf, social media, grassroots movements, microblogging, Twitter, aggregators, public opinion, manipulation, tweet, retweet, spam, RSS feed, hashtag, algorithm, PageRank.

 

Обращаясь к примерам возникновения сетевых низовых политических движений, стоит обратить внимание на президентские выборы 2008 года в США, которые вошли в историю как первые, на которых доминировали низовые движения, организованные и координируемые в Интернете. Окончательный успех кампании на тот момент сенатора Обамы в немалой степени был обусловлен новаторским использованием его предвыборным штабом социальных сетей, когда  прямой диалог со своими сторонниками увлёк и привлёк неохваченные слои общества и положил начало новой эре политического участия в американской политике. С другой стороны, последствия выборов вызвали реакцию, кульминацией которой стало движение "Tea party". В обоих случаях было очевидно, что граждане больше не будут довольствоваться пассивным восприятием политических новостей и требовать повышения собственного статуса.

По мере того как люди постепенно обращаются к Интернету в поисках политической и экономической информации, они, естественно, используют существующие социальные сети и платформы для обсуждения своих взглядов и идеалов со своими сверстниками. Инструменты микроблогов, такие как Twitter, играют важную роль в этом движении, позволяя людям выступать в роли агрегаторов и кураторов медиа, способных влиять на своих последователей, которые, в свою очередь, находятся под влиянием людей, за которыми они решили следовать. Со временем между последователями и подписчиками возникает доверие, и последние с большей вероятностью принимают контент и информацию, предоставляемую первыми. Актуальность такого типа диалога и того, насколько он соответствует общественному мнению, отражает приоритеты и насущные проблемы локального социума и может выступать предметом исследования.  

Анализ более 100 000 твитов, содержащих прямые политические ссылки на партии или политиков в преддверии федеральных выборов в Германии в 2009 году показал, что доля активности в Twitter, соответствующая каждой партии, точно соответствовала долям голосов в окончательных результатах выборов. Если бы этот результат можно было обобщить, это означало бы, что Twitter можно использовать в качестве инструмента мониторинга общественных настроений в режиме реального времени. Основываясь на этом выводе, было предложено использовать Twitter в качестве распределенного инструмента мониторинга кампаний в режиме реального времени. Если верно, что Twitter действительно отражает общественное восприятие, то, возможно, верно и то, что, манипулируя восприятием в Twitter, можно манипулировать им и в реальном мире. Этот вывод не ускользнул от внимания организаций и групп, заинтересованных в продвижении определенных тем или действий. Подробно был изучен один из таких случаев, произошедший во время внеочередных выборов в сенат Массачусетса в 2010 году. Они наблюдали, как сеть поддельных, управляемых компьютером аккаунтов чуть более чем за 2 часа создала почти 1000 твитов, содержащих определенный URL, порочащий одного из кандидатов. Целью злоумышленников было создать как можно больше трафика, чтобы охватить широкую аудиторию и таким образом повлиять на исход выборов. Для достижения этой цели были выбраны конкретные пользователи, считающиеся влиятельными, в надежде, что они ретвитнут URL, тем самым придав ему дополнительный уровень доверия. Несмотря на всю степень  грубости этой попытки, она оказалась чрезвычайно успешной, собрав такое количество ретвитов, что URL на короткое время оказался на первой странице результатов Google по запросу.

Подобный скоординированный обман, когда один агент создает видимость широкой поддержки идеи или позиции, известен как "астротурфинг" (astroturfing), название которого происходит от противопоставления фальшивого низового движения и распространенного типа искусственной травы, используемой на спортивных стадионах.

Далее рассмотрим несколько тактик, используемых для скрытого продвижения дезинформации, а также систему, предназначенную для автоматического обнаружения и отслеживания таких попыток, с фокусированием внимания на спаме и астротурфинге.

Как известно по опыту использования электронного почтового ящика, спамеры имеют десятилетия опыта в работе с огромными аудиториями. Их методы варьируются от простых кампаний массовой рассылки до сложных технологий, которые автоматически настраивают каждое сообщение, чтобы избежать обнаружения автоматическими средствами противодействия. Как и в случае с другими средствами коммуникации в прошлом, спамеры пришли в Twitter и адаптировали свой набор инструментов к этой новой среде.

Несмотря на то, что сговор между спамерскими аккаунтами  в виде спамерских кампаний, направленных на то, чтобы заставить пользователей кликнуть на определенный URL-адрес, существует ряд специфических характеристик, по которым можно определить подобные аккаунты. Определяющими признаками являются частота твитов, возраст аккаунтов и их периферия в социальном графе. Сочетание атрибутов контента и поведения пользователей позволяет обучать алгоритмы машинного обучения для автоматического обнаружения спам-аккаунтов с высокой точностью. Вероятно, это связано с тем, что спам опирается на большое количество аккаунтов, контролируемых небольшим числом спамеров.

На первый взгляд цели спамеров и астротурферов могут показаться схожими - оба хотят донести сообщение до большой аудитории пользователей, и оба хотят добиться действий (кликов, голосов, изменения мнения) от целевых пользователей. Однако между этими двумя типами атак есть несколько принципиальных различий. Чтобы создать иллюзию повсеместной автономной поддержки, астротурфисты должны сохранять определенную степень доверия и выглядеть независимыми по отношению к коммерческим или политическим интересам. Аналогичным образом, если спамеры могут использовать одну учетную запись для воздействия на многих пользователей, то астротурферы полагаются на то, что пользователи более восприимчивы к сообщениям, которые они воспринимают как исходящие из нескольких независимых источников. Эти разные методы требуют различных подходов к проблеме обнаружения. Системы обнаружения спама часто фокусируются на содержании сообщений - например, определяют, содержит ли сообщение определенную ссылку или набор тегов. При обнаружении астротурфа необходимо сосредоточиться не на его содержании, а на способе доставки сообщения. Тот факт, что сообщение подается под видом законной болтовни в Интернете, а не организованной кампании, имеет большее значение, чем его правдивость.

Контент может быть законным мнением или информационным ресурсом; мошенничество является продуктом не контента, а механизма распространения. Кроме того, многие пользователи, участвующие в распространении успешного сообщения астротурфа, на самом деле могут быть легитимными пользователями, которые невольно участвуют в обмане, будучи обманутыми сами. Таким образом, методы обнаружения спама, ориентированные на свойства учетных записей пользователей, такие как количество URL-адресов в твитах, исходящих от учетной записи, или интервал между последовательными твитами, скорее всего, не будут успешными при обнаружении астротурфа. Обычный пользователь может поверить и распространить информацию, источником которой стала подобная кампания. По мере того как все больше обычных пользователей присоединяются к распространению этого сообщения, любая информация, которую потенциально можно извлечь из анализа свойств аккаунтов, распространяющих это сообщение, будет становиться все более запутанной.

Затрагивая тактику обмана следует отметить, что любой, кто пытается повысить свою узнаваемость в Twitter, придерживается очевидной стратегии: создать аккаунт, начать писать твиты и постепенно набирать подписчиков. Однако эгалитарная природа платформы означает, что это всего лишь один голос в многомиллионной толпе. Когда цель – добиться любыми средствами того, чтобы ваш голос был услышан, можно использовать несколько обманных тактик, чтобы быстро набрать большое количество подписчиков и обрести ауру влияния или важности в сообществе. И в этом контексте уместно сфокусировать внимание на учетных записях с централизованным и компьютерным управлением.

Так, прошедший проверку временем постулат "ничто так не привлекает толпу, как толпа" верен и в Интернете. Астротурферы пользуются этим фактом, чтобы стимулировать фальшивую низовую активность, создавая иллюзию, что за сообщением или движением стоит большое количество людей. Самый простой способ добиться такого эффекта - создать несколько централизованно контролируемых учетных записей, известных как sockpuppets, которые используются для имитации нескольких независимых участников, продвигающих единое послание. Затем эти аккаунты можно использовать для трансляции сообщения, кажущегося независимым друг от друга, или манипулировать ими, чтобы создать впечатление, будто они социально взаимодействуют друг с другом. Преимущество первого подхода заключается в том, что он создает видимость независимых акторов, реагирующих на внешнее влияние, за счет доверия, которое возникает при наличии насыщенного социального круга. Второй подход опирается на социальные ожидания, чтобы создать видимость подлинности за счет видимости независимости. Общим для обоих подходов является опора на большое количество централизованно координируемых аккаунтов.

Для эффективной масштабной астротурфии необходима автоматизация, и вовлеченные исследователи изучили поведенческие различия между реальными пользователями и ботами в Twitter. Они различают два типа ботов: "доброкачественные", которые часто идентифицируют себя как автоматизированные процессы и просто передают информацию из RSS-каналов или других автоматизированных источников; и "вредоносные" боты, которые распространяют спам или вредоносный контент, действуя как реальные пользователи.

Одна из ключевых отличительных черт между людьми и ботами заключается в том, что боты, как правило, генерируют большое количество твитов в течение короткого периода времени, а затем замирают на длительный период, предположительно, чтобы избежать обнаружения. Люди, с другой стороны, склонны следовать более регулярным моделям онлайн-активности. Хотя боты могут постепенно улучшать свое поведение, чтобы более точно имитировать поведение человека, неясно, смогут ли они когда-либо полностью справиться с этой задачей. В то же время наше понимание человеческого поведения также находится в процессе постоянного совершенствования, что еще больше усложняет задачу любого создателя бота.[1]

В начале 2011 года в результате действий слабо организованной группы интернет-активистов Anonymous произошла утечка большого количества электронных писем из консалтинговой фирмы HBGary Federal, занимающейся вопросами безопасности,. В этих письмах содержались сведения о разработке коммерческого программного обеспечения для управления большим количеством онлайн-персон. Программному обеспечению отводилась роль отслеживания каждой учетной записи, связанной с каждой персоной, а также ее основных характеристик. Согласно ним, пользователь персоны может опираться на приборную панель с персональной информацией, необходимой для того, чтобы он или она могли использовать каждую персону в различных социальных сетях и легко переключаться между ними. Программный пакет был предложен компаниям, желающим обманным путем управлять собственной онлайн-идентичностью, а также правительственным агентствам, пытающимся скрытно отслеживать или помогать формировать общественное мнение[2].

По другой схеме организации могут набирать добровольцев и просить их предоставить доступ к своим аккаунтам в социальных сетях. При этом волонтеры позволяют организации размещать сообщения от их имени, что значительно затрудняет обнаружение и одновременно увеличивает потенциальный охват сообщения. Поскольку эти аккаунты часто не связаны друг с другом, можно охватить отдельные регионы социальной сети и потенциально ознакомить большую часть населения с одним единым сообщением.

В ракурсе понятия «инъекции контента» необходимо учитывать, что Twitter ограничивает количество сообщений 140 символами, и необходимость пользователей сжимать сообщения привела к тому, что сообщество создало способы втиснуть как можно больше информации в как можно меньшее пространство. В результате пользователи создали аннотации к "хэштегам" - терминам с префиксом # (хэш), которые служат для идентификации потока информации, связанного с темой или целевой аудиторией, например #dadt - "Не спрашивай, не говори" или #gop - "Великая старая партия". Их быстрое принятие сообществом Twitter в конечном итоге заставило Twitter официально поддержать их, и в результате доступ к твитам, связанным с определенным хэштегом, можно получить, нажав на гиперссылку, встроенную в любой твит, аннотированный тегом, или через официальный инструмент поиска Twitter. Например, нажав на хэштег #gop на сайте Twitter, пользователи попадают на https://twitter.com/#!/search?q=%23gop, постоянно обновляемую страницу, содержащую все последние твиты, отмеченные этим хэштегом.

Поскольку потоки хэштегов не контролируются централизованно, ничто не мешает каждому отдельному пользователю внести свой вклад в поток контента, включив соответствующий хэштег в свои твиты. Потенциал для злоупотреблений очевиден: если вы политический активист, пытающийся охватить большую аудиторию пользователей, интересующихся конкретной партией, добавление хэштега #gop к вашим твитам - прямой путь к достижению этой цели. Использование нескольких централизованно контролируемых аккаунтов sockpuppet таким образом усиливает эффект. Что касается хэштегов, то использование сервисов сокращения URL получило широкое распространение в связи с нехваткой места в коммуникационном средстве, изначально предназначенном для доступа через SMS. Такие сервисы, как bit.ly и t.co от Twitter, предоставляют URL-адреса, содержащие уникальные хэши, которые перенаправляют к исходной цели. Например, www.example.com будет представлен http://bit.ly/3hDВUb, что затрудняет быструю проверку твитов на наличие подозрительных доменов как для конечных пользователей, так и для инструментов фильтрации.

Исходя из этого, разработаны и внедрены механизмы обнаружения спама, которые не позволят одному пользователю просто репостить один и тот же URL снова и снова. Простая контрмера - слегка изменить публикуемый URL, добавив в сокращенный URL бессмысленные параметры запроса. Любые параметры запроса в исходном URL уже содержатся в сокращенном URL. Дополнительные параметры запроса игнорируются сервисом сокращения, обеспечивая простой способ избежать обнаружения со стороны Twitter. Преобладание этой тактики продемонстрировано в работе Kandylas и Dasdan, которые изучили качество URL-адресов в твиттере и обнаружили, что они бимодально распределены между высококачественными URL-адресами и спамом. Это подчеркивает объем спама, ежедневно проходящего через социальные сети.

Сочетание обфускации (маскировки) URL-адресов и инъекции контента позволяет спамерам и астротурфистам направлять на четко определенные группы населения контент, который, на первый взгляд, трудно распознать как мошеннический.

Согласно классической социологической теории, общественное мнение и восприятие (т.н. «группы поддержки») формируется лидерами, способными влиять на большую часть остального населения. В социальных сетях наличие большого числа последователей часто ассоциируется с репутацией или значимостью. Хотя применимость этой идеи в современных социальных сетях ставилась под сомнение, по-прежнему широко распространено мнение, что популярные люди обязательно более влиятельны или надежны, чем другие. Это мнение, подкрепленное тем фактом, что такие известные или влиятельные личности, как Барак Обама или Опра Уинфри, имеют несколько миллионов подписчиков, привело к разработке многочисленных стратегий по увеличению числа подписчиков.

Один из наиболее известных методов увеличения числа подписчиков обозначен хэштегом #FollowFriday. Майка Болдуин считается автором этой тенденции, когда в 2009 году он предложил своим подписчикам следовать за двумя другими пользователями. Идея продвижения других пользователей быстро прижилась и привела к появлению хэштега #FollowFriday. С тех пор он и его разновидность #FF остаются регулярным трендом. Это был лишь один из первых среди нескольких хэштегов, которые были созданы для этой же цели.

Другой печально известный пример - #TeamFollowBack, хэштег, предназначенный для определения тех, кто будет взаимно следовать за новым подписчиком. Пользователи добавляют #teamfollowback к твиту или информации о своем профиле, чтобы попросить новых последователей и продемонстрировать, что они ответят взаимностью (follow back). Таким образом, Боб, увидев твит Алисы с #teamfollowback, получает уверенность в том, что он также получит ссылку и увеличит число своих подписчиков, если решит последовать за Алисой. Также было создано несколько производных тегов, таких как #FollowMe и #InstantFollow, которые не смогли достичь того же уровня популярности. Эта тенденция является эквивалентом Твиттера программам обмена ссылками, которые были разработаны для влияния на алгоритм PageRank [241]. PageRank основывается на количестве ссылок, которые получает страница для оценки ее качества, исходя из предположения, что чем больше страниц ссылаются на нее, тем выше ее качество. В результате веб-мастера начали обмениваться ссылками между собой, чтобы повысить свой показатель PageRank.

Эти механизмы создания большого, хотя, возможно, и фальшивого социального круга явно привлекательны для спамеров и астротурферов. Спамер может привлечь внимание к определенному сайту, следуя за большим количеством пользователей и разместив короткое сообщение вместе с URL в разделе биографической информации своего профиля. По умолчанию Twitter уведомляет пользователей по электронной почте, когда у них появляется новый подписчик, и эти сообщения не только содержат биографические данные пользователя, но и легко проходят через автоматические фильтры обнаружения спама как исходящие из надежного источника. Обычно эту задачу выполняют боты, которые через определенное время перестают следить за целевым человеком, если тот не отвечает им взаимностью. Это делается для того, чтобы избежать слишком высокого отношения числа последователей к числу подписчиков, что в прошлом использовалось для обнаружения этого типа спам-атаки. Эти идиосинкразии типичных спам-ботов приводят к измеримым сетевым различиям между спамерами и неспамерами.

Выше мы проиллюстрировали некоторые инструменты и методы, обычно используемые злоумышленниками для создания ауры респектабельности и вброса спама и астротурфа в онлайн-дискуссии. В ответ на это начали разрабатываться системы для отслеживания распространения политической информации с целью обнаружения организованных попыток астротурфинга. Одна из них называется Truthy, что является отсылкой к термину, придуманному комиком Стивеном Колбертом для описания чего-то, что человек утверждает, что знает, основываясь на эмоциях, а не на доказательствах или фактах.

Фрагменты информации, которые передаются от человека к человеку из уст в уста или из общего пользования, называют мемами - термин, первоначально введенный Ричардом Докинзом как аналог гена в культурной передаче. В контексте Интернета под мемом обычно понимается небольшой элемент информации, ставший популярным, например конкретное видео, ставшее вирусным, или звуковой фрагмент, получивший широкое распространение на онлайн-форумах.

В свете рассмотренных выше характеристик астротурфа нам необходимо определение, позволяющее отличить ложно распространяемую информацию от логически распространяемой, возникающей в реальных низовых структурах. Мы определили нашу задачу как обнаружение правдивых мемов в потоке твитов и комментариев. Не каждый правдивый мем приведет к вирусному информационному каскаду, но нам  нужна проверка гипотезы о том, что на начальных этапах наблюдаются общие признаки, которые помогут нам идентифицировать такое поведение. Особый интерес с этой точки зрения представляет выявление различий в паттернах распространения органических и инжектированных мемов. Например, саунд-байт комика может стать популярным и использоваться различными источниками, тем самым запуская множество независимых каскадов. С другой стороны, два аккаунта могут попытаться инициировать каскад, публикуя множество одинаковых твитов в надежде запустить тренд с разной степенью успеха. Эти два примера иллюстрируют некоторые из очевидных различий, которые мы можем искать. Такие отпечатки, скорее всего, будут касаться и того, как социальные сети используются в качестве средства общения, но особое внимание следует уделить тому, как эти разговоры приводят к распространению информации. Хотя обычно это называют "вирусным", способ распространения информации или слухов в сети имеет важные различия по сравнению с инфекционными заболеваниями. Слухи постепенно приобретают все большую достоверность и привлекательность по мере того, как все большее число соседей по сети узнает о них. Через некоторое время преодолевается некий порог, и слух становится настолько распространенным, что его считают "общеизвестным" в данном сообществе и, следовательно, правдивым. Наша цель - просто уметь различать мемы, возникшие естественным путем, и мемы, созданные в результате инъекций, независимо от достоверности информации, которую они могут содержать. Например, если предложение "Луна сделана из сыра" станет мемом, его можно будет считать "правдивым" только на основании того, был ли такой всплеск популярности организован третьей стороной[3].

Наша социальная природа делает нас уязвимыми для атак, направленных на глубоко укоренившиеся ожидания группового консенсуса и восприятие объективности источника. Мы рассмотрели различные методы, которые злоумышленники могут использовать, чтобы воспользоваться этими уязвимостями, и выделили несколько характеристик, которые делают эти атаки особенно сложными для защиты.

Легкость создания фиктивных учетных записей на различных платформах социальных сетей и существование недорогих механизмов быстрого создания ауры достоверности однозначно гарантируют, что масштабы этой проблемы в ближайшие годы не уменьшатся. Кроме того, поскольку все больше пользователей обращаются к социальным сетям за информацией о товарах, политике и общественном мнении, потенциальное воздействие таких обманных атак может продолжать расти.

Если не допускать нежелательного результата в виде уникальных идентификаторов для создателей цифрового контента, то задачей на будущее станет разработка новых методов выявления скоординированного обмана в режиме реального времени, как это рассматривается здесь. Хотя нельзя ожидать, что какое-либо одно решение полностью устранит атаки, усовершенствованные системы репутации, механизмы обнаружения с помощью краудсорсинга и традиционные подходы машинного обучения, вероятно, сыграют свою роль в снижении негативного воздействия атак "астротурф" на цифровую экосистему.

 

Список литературы:

1. Jacob Ratkiewicz, Michael D Conover, Mark Meiss, Bruno Goncalves, Alessandro Flammini, F.Menczer; Proc. 5th International AAAI Conference on Weblogs and Social Media (ICWSM’11), 2011/5/7.

2. Michael Conover, Jacob Ratkiewicz, Matthew Francisco, Bruno Gonçalves, Filippo Menczer, Alessandro Flammini; Proceedings of the international AAAI conference on web and social media, 2011, v.5, №1, p. 89-96.

3. Karissa McKelvey, Alex Rudnick, Michael D Conover, Filippo Menczer, Proc. 5th International AAAI Conference on Weblogs and Social Media (ICWSM’11), Visualizing communication on social media: Making big data accessible, 2012, arXiv preprint arXiv:1202.1367.


 


[1] Jacob Ratkiewicz, Michael D Conover, Mark Meiss, Bruno Goncalves, Alessandro Flammini, F.Menczer; Proc. 5th International AAAI Conference on Weblogs and Social Media (ICWSM’11), 2011/5/7.

[2] Michael Conover, Jacob Ratkiewicz, Matthew Francisco, Bruno Gonçalves, Filippo Menczer, Alessandro Flammini; Proceedings of the international AAAI conference on web and social media, 2011, v.5, №1, p. 89-96.

[3] Karissa McKelvey, Alex Rudnick, Michael D Conover, Filippo Menczer, Proc. 5th International AAAI Conference on Weblogs and Social Media (ICWSM’11), Visualizing communication on social media: Making big data accessible, 2012, arXiv preprint arXiv:1202.1367.

0
0
0

Information about the author

ID: 1111111111

Tahriryat
  • Country Uzbekistan

  • Speciality Iqtisodiyot

  • Academic degree Fan doktori (DS)

  • Scientific title Ilmiy unvonsiz

Comments

Comments

Choose a value
Comments are blocked by the administrator

Comments can only be added by authorized users. Sign in Or Register